объявил о специальном модуле Hailo-10, предназначенного для обслуживания продуктивного искусственного интеллекта . Этот ускоритель, который обладает высокой энергоэффективностью с точки зрения энергии, может быть установлен в системе рабочей станции.
Продукт производится в форм -факторе M.2 M.2 M 2242/2280 с интерфейсом PCIE 3.0 X4. Оборудование содержит чип Hailo-10H и 8 ГБ памяти LPDDR4. Говорят, что он совместим с компьютерами с процессорами на основе архитектуры X86 и Aarch64 (ARM64). В дополнение к Windows 11, Tensorflow поддерживает рамки Tensorflow Lite, Keras, Pytorch и Onnx AI.
Как отмечает Хайло, новый продукт обеспечивает производительность искусственного интеллекта до 40 вершин. Потребляемая мощность составляет менее 3,5 Вт. Говорят, что модуль искусственного интеллекта поддерживает рабочие нагрузки, связанные с выводом в режиме реального времени. Например, при работе с большой языковой моделью Llama2-7B можно достичь скорости 10 Jetona (TPS) в секунду. Когда используется стабильная диффузия 2.1, можно создать одно изображение на основе текста менее чем за 5 секунд.
Использование HAILO-10 позволяет нести определенные рабочие нагрузки искусственного интеллекта из облака или центра обработки данных. Это уменьшает задержки и позволяет решать проблемы в автономном режиме. Во-первых, новый продукт будет расположен в полях чат-бот, автопилотов, личных помощников и аудиоконтролируемых систем, которые будут использоваться в полях ПК и систем автомобильной информации.
Доставка образцов Hailo-10 будет сделана во втором квартале 2024 года. Ассортимент продукции компании также включает в себя Tops M.2: 26 обеспечивает производительность, а также имеет 3 вершины/W. Эффективность энергоэффективности.
