Hailo, üretken yapay zekaya hizmet etmek üzere tasarlanmış özel bir Hailo-10 modülünü duyurdu . Enerji açısından yüksek verimliliğe sahip bu hızlandırıcı, bir iş istasyonuna sistemine kurulabiliyor.
Ürün, PCIe 3.0 x4 arayüzüyle M.2 Key M 2242/2280 form faktöründe üretilmiştir. Ekipman bir Hailo-10H yongası ve 8 GB LPDDR4 bellek içeriyor. x86 ve Aarch64 (Arm64) mimarilerini temel alan CPU’lara sahip bilgisayarlarla uyumlu olduğu söyleniyor. Windows 11’in yanı sıra TensorFlow, TensorFlow Lite, Keras, PyTorch ve ONNX AI çerçeveleri için destek veriyor.
Hailo’nun belirttiği gibi, yeni ürün 40 TOPS’a kadar yapay zeka performansı sağlıyor. Güç tüketimi 3,5 W’tan az. Yapay zeka modülünün çıkarımla ilgili iş yüklerini gerçek zamanlı olarak desteklediği söyleniyor. Örneğin, büyük Llama2-7B dil modeliyle çalışırken saniyede 10 jetona (TPS) varan hızlara ulaşılabiliyor. Stable Diffusion 2.1 kullanıldığında, metne dayalı tek bir görselin 5 saniyeden daha kısa sürede oluşturulması mümkün oluyor.
Hailo-10’un kullanımı, belirli yapay zeka iş yüklerini buluttan veya veri merkezinden uca taşımanıza olanak tanır. Bu, gecikmeleri azaltır ve sorunları çevrimdışı çözmeyi mümkün kılar. Yeni ürün ilk etapta chatbotların, otopilotların, kişisel asistanların ve ses kontrollü sistemlerin çalışmasını desteklemek amacıyla PC’ler ve otomotiv bilgi-eğlence sistemleri alanlarında kullanılmak üzere konumlandırılacak.
Hailo-10 numunelerinin teslimatı 2024 yılının ikinci çeyreğinde gerçekleştirilecek. Şirketin ürün yelpazesi aynı zamanda M.2 formatındaki Hailo-8 hızlandırıcıyı da içermektedir : 26 TOPS’a kadar performans sağlar ve aynı zamanda 3 TOPS/W enerji verimliliğine sahip.
