Microsoft, devrimsel LASER metoduyla yapay zekalarda yanılgıları gideriyor
Bir mühlet evvel düzenlenen Microsoft Research Forum’da, Microsoft Research Lab NYC ve AI Frontiers’da kıdemli araştırmacı olan Dipendra Misra, Layer-Selective Rank Reduction (veya LASER) ile yapay zekalarda kullanılan büyük lisan modellerini (LLM …
Bir müddet evvel düzenlenen Microsoft Research Forum’da, Microsoft Research Lab NYC ve AI Frontiers’da kıdemli araştırmacı olan Dipendra Misra, Layer-Selective Rank Reduction (veya LASER) ile yapay zekalarda kullanılan büyük lisan modellerini (LLM) nasıl daha gerçek hale getirebileceğini açıkladı. Microsoft’un LASER usulü, büyük ölçüde bilgi üzerinde eğitilen modelleri daha küçük ve daha gerçek hale getiriyor.
Yapay zekaların yanlışları için yenilikçi çözüm
LASER ile araştırmacılar “müdahale edebilir” ve bir tartı matrisini yaklaşık olarak daha küçük bir matrisle değiştirebiliyor. Klâsik olarak, daha ağır algoritmalar, kapsamlı bağlamsal ilişkileri nedeniyle daha muteber olarak görülüyor. Lakin Microsoft’un kıdemli araştırmacısı Dipendra Misra, LLM’lerdeki ağırlık matrislerinin stratejik olarak azaltılmasının model kaybında beklenen artışa yol açmadığını gösteriyor.
Mantıken LLM yahut büyük lisan modelleri üzerinde LASER kullanarak müdahale yapıldığında model kaybının artması beklenir çünkü çok büyük ölçüde bilgi üzerinde eğitilmiş bir LLM’den temelinde bilgi atıyorsunuz. Fakat sürpriz bir formda, hakikat tıpta LASER müdahalesi yapıldığında model kaybının artmadığı, bilakis azaldığı görüldü.
Microsoft araştırmacıları LASER’ı üç farklı açık kaynaklı model üzerinde muvaffakiyetle kullandığını söyledi: RoBERTa, Llama 2 ve Eleuther’in GPT-J modeli. Misra, vakit zaman model güzelleştirmesinin yüzde 20 ila 30 puan arttığını söyledi. Örneğin, biyografilere dayalı cinsiyet kestirimi için GPT-J’nin performansı, bir LASER müdahalesinden sonra yüzde 70,9 doğruluktan yüzde 97,5’e çıktı. Bu buluş, akademik merakın ötesine geçerek, gerçek bilgilerin doğruluğuyla ilgili yapay zeka gelişimindeki kritik bir kaygıyı ele alıyor. Hatalı verilerin yahut halüsinasyon olarak bilinen yaratıcı bir biçimde üretilmiş çıktıların hem eğlenceli hem de ziyanlı olabildiği bir kesimde LASER, daha sağlam ve sorumlu yapay zeka uygulamalarına giden bir yol inşa edebilir.
