a annoncé un module spécial HAILO-10 conçu pour servir l'intelligence artificielle productive . Cet accélérateur, qui a une efficacité énergétique élevée en termes d'énergie, peut être installé dans un système de poste de travail.
Le produit est fabriqué dans le facteur de forme M.2 Key M 2242/2280 avec l'interface PCIE 3.0 X4. L'équipement contient une puce HAILO-10H et 8 Go de mémoire LPDDR4. Il est dit compatible avec les ordinateurs avec des CPU basés sur l'architecture X86 et AARCH64 (ARM64). En plus de Windows 11, TensorFlow prend en charge TensorFlow Lite, Keras, Pytorch et ONNX AI.
Comme le souligne Hailo, le nouveau produit offre des performances d'intelligence artificielle jusqu'à 40 hauts. La consommation d'énergie est inférieure à 3,5 W. On dit que le module d'intelligence artificielle prend en charge les charges de travail liées à l'inférence en temps réel. Par exemple, tout en travaillant avec un grand modèle de langue LLAMA2-7B, des vitesses de 10 jetona (TPS) par seconde peuvent être atteintes. Lorsque la diffusion stable 2.1 est utilisée, il est possible de créer une seule image basée sur du texte en moins de 5 secondes.
L'utilisation du HAILO-10 vous permet de transporter certaines charges de travail de l'intelligence artificielle du cloud ou du centre de données. Cela réduit les retards et permet de résoudre les problèmes hors ligne. En premier lieu, le nouveau produit sera situé dans les champs des chatbotes, des pilotes automobiles, des assistants personnels et des systèmes contrôlés audio à utiliser dans les champs des PC et des systèmes d'éducation de l'information automobile.
La livraison des échantillons HAILO-10 sera effectuée au deuxième trimestre de 2024. La gamme de produits de l'entreprise comprend : 26 TOPS fournit des performances et a également 3 hauts / W pour l'efficacité énergétique.
