anunció un módulo especial Hailo-10 diseñado para servir inteligencia artificial productiva . Este acelerador, que tiene alta eficiencia energética en términos de energía, se puede instalar en un sistema de estación de trabajo.
El producto se fabrica en la tecla M.2 M 2242/2280 Factor de forma con la interfaz PCIe 3.0 x4. El equipo contiene un chip Hailo-10H y una memoria LPDDR4 de 8 GB. Se dice que es compatible con las computadoras con CPU basadas en la arquitectura X86 y Aarch64 (ARM64). Además de Windows 11, TensorFlow admite marcos TensorFlow Lite, Keras, Pytorch y ONNX AI.
Como señala Hailo, el nuevo producto proporciona un rendimiento de inteligencia artificial de hasta 40 tops. El consumo de energía es inferior a 3.5 W. Se dice que el módulo de inteligencia artificial respalda las cargas de trabajo relacionadas con la inferencia en tiempo real. Por ejemplo, mientras se trabaja con un gran modelo de idioma LLAMA2-7B, se pueden alcanzar velocidades de 10 Jetona (TPS) por segundo. Cuando se usa la difusión estable 2.1, es posible crear una sola imagen basada en el texto en menos de 5 segundos.
El uso del Hailo-10 le permite llevar ciertas cargas de trabajo de inteligencia artificial desde la nube o el centro de datos. Esto reduce los retrasos y permite resolver problemas fuera de línea. En primer lugar, el nuevo producto se ubicará en los campos de los chatbotes, los pilotos automáticos, los asistentes personales y los sistemas de audio controlados que se utilizarán en los campos de PC y sistemas de educación automotriz de información.
La entrega de las muestras Hailo-10 se realizará en el segundo trimestre de 2024. La gama de productos de la compañía también incluye : 26 TOPS proporciona rendimiento y también tiene 3 tops/W eficiencia energética.
