Santa Cruz’daki California Üniversitesi’ndeki araştırmacılar, milyarlarca parametreyle büyük yapay zeka dil modellerini (LLM’ler) çalıştırabilen ve mevcut sistemlerden önemli ölçüde daha az güç tüketen bir yöntem geliştirdiler.
Yeni yöntem, bir LLV’nin milyarlarca parametreyle çalıştırılmasını ve yalnızca 13 W sistem gücü tüketilmesini mümkün kıldı; bu, evdeki bir LED lambanın tüketimine eşdeğerdir. Yapay zeka hızlandırıcıların mevcut güç tüketimi göz önüne alındığında bu başarı özellikle etkileyici. Nvidia’nın H100 ve H200 gibi mevcut veri merkezi GPU’ları yaklaşık 700 watt tüketiyor ve yakında çıkacak Blackwell B200 genellikle GPU başına 1.200 watt’a kadar enerji tüketebiliyor. Tom’s Hardware, böylece yeni yöntemin günümüzün popüler çözümlerinden 50 kat daha etkili olduğunu yazıyor .
Başarının anahtarı, matris çarpımının (MatMul) eğitim süreçlerinden çıkarılmasıydı. Araştırmacılar iki yöntem kullandılar. Birincisi, sayı sisteminin -1, 0 ve 1 değerlerini kullanarak üçlüye dönüştürülmesidir; bu, çarpma işlemini sayıların basit toplamıyla değiştirmeyi mümkün kıldı. İkinci yöntem, ağın daha hızlı çalışmasına izin veren ancak daha az işlem gerçekleştirilen etkili bir “bellek” aldığı geçici hesaplamanın başlatılmasına dayanmaktadır. Çalışma, özel bir FPGA sistemi üzerinde gerçekleştirildi ancak araştırmacılar, verimlilik tekniklerinin çoğunun, açık kaynaklı yazılımlar ve günümüzde halihazırda var olan sistemlerin özelleştirilmesi kullanılarak uygulanabileceğini vurguluyor.
Çalışma, Microsoft’un sinir ağlarında üçlü sayıları kullanma konusundaki çalışmasından ilham aldı ve bilim adamları, referans büyük model olarak Meta’dan LLaMa’yı kullandılar . Projede çalışan yüksek lisans öğrencilerinden Rui-Jie Zhu, pahalı operasyonların daha ucuz olanlarla değiştirilmesindeki başarıyı anlattı. Bu yaklaşımın yapay zeka ve dil modelleri alanındaki tüm sistemlere evrensel olarak uygulanıp uygulanamayacağı belli olmasa da yapay zeka manzarasını kökten değiştirme potansiyeli var.
Bilim adamlarının, Meta , OpenAI, Google, Nvidia ve diğerleri gibi büyük AI pazarı oyuncularının iş yüklerini işlemek ve daha hızlı ve daha fazla enerji yaratmak için yeni başarıdan özgürce yararlanmasına olanak tanıyacak geliştirmelerinin kaynak kodunu açmaları önemlidir. Sonuçta bu, yapay zekanın kişisel bilgisayarlarda ve mobil cihazlarda tam anlamıyla çalışabilmesini ve insan beyninin işlevsellik düzeyine yaklaşmasını sağlayacaktır.
