宣布了一个特殊的Hailo-10模块,旨在提供生产性人工智能。该加速器在能源方面具有较高的能源效率,可以安装在工作站系统中。

该产品是在M.2密钥M 2242/2280中制造的,具有PCIE 3.0 X4接口。该设备包含Hailo-10H芯片和8 GB LPDDR4内存。据说它与基于X86和AARCH64(ARM64)体系结构的CPU的计算机兼容。除Windows 11外,TensorFlow还支持Tensorflow Lite,Keras,Pytorch和Onnx AI帧。

正如Hailo指出的那样,新产品可提供高达40个上衣的人工智能性能。功耗小于3.5 w。据说人工智能模块支持与推断有关的工作负载。例如,在使用大型Llama2-7b语言模型时,可以达到每秒10个JETONA(TPS)的速度。当使用稳定的扩散2.1时,可以在不到5秒的时间内根据文本创建单个图像。

Hailo-10的使用使您可以从云或数据中心携带某些人工智能工作负载。这减少了延迟,并可以脱机解决问题。首先,新产品将位于聊天机器人,自动驾驶仪,个人助理和音频控制系统的领域,用于PC和汽车信息教育系统。

Hailo-10样品的交付将在2024年第二季度进行。该公司的产品范围还包括 :26 Tops格式的Hauilo-8加速器,可提供性能,并具有3个TOPS/W能源效率。