kündigte ein spezielles Hailo-10-Modul an, das produktive künstliche Intelligenz serviert . Dieser Beschleuniger, der in Bezug auf Energie eine hohe Energieeffizienz aufweist, kann in einem Workstation -System installiert werden.
Das Produkt wird in M.2 Key M 2242/2280 Formfaktor mit der PCIe 3.0 x4 -Schnittstelle hergestellt. Die Ausrüstung enthält einen Hailo-10H-Chip und 8 GB LPDDR4-Speicher. Es soll mit Computern mit CPUs kompatibel sein, die auf der X86- und AARG64 (ARM64) -Scharchitektur basieren. Zusätzlich zu Windows 11 unterstützt TensorFlow TensorFlow Lite, Keras, Pytorch und Onnx AI -Rahmen.
Wie Hailo betont, bietet das neue Produkt künstliche Intelligenzleistung von bis zu 40 Tops. Der Stromverbrauch beträgt weniger als 3,5 W. Es wird gesagt, dass das Modul für künstliche Intelligenz die Workloads im Zusammenhang mit der Inferenz in Echtzeit unterstützt. Bei der Arbeit mit einem großen LLAMA2-7B-Sprachmodell können beispielsweise Geschwindigkeiten von 10 Jetona (TPS) pro Sekunde erreicht werden. Wenn die stabile Diffusion 2.1 verwendet wird, ist es möglich, ein einzelnes Bild basierend auf Text in weniger als 5 Sekunden zu erstellen.
Mit der Verwendung des Hailo-10 können Sie bestimmte Workloads für künstliche Intelligenz aus dem Cloud oder des Rechenzentrums übertragen. Dies reduziert Verzögerungen und ermöglicht es, Probleme offline zu lösen. Erstens befindet sich das neue Produkt in den Bereichen Chatbotes, Autopiloten, persönliche Assistenten und audiogesteuerte Systeme, die in den Feldern von PCs und Automobilinformationsausbausystemen verwendet werden können.
Die Lieferung der Hailo-10-Proben erfolgt im zweiten Quartal von 2024. Die Produktpalette des Unternehmens umfasst : 26 Tops bietet Leistung und verfügt über 3 Tops/W-Energieeffizienz.
