Yapay zekâ rekabeti yoğunlaşırken, Meta, Chameleon adlı son teknolojiye sahip çok modlu büyük dil modeli (LLM) üzerinde çalışıyor.
Şirketin araştırma makalesine göre, bu büyük dil modeli, daha önce farklı modeller tarafından gerçekleştirilen görevleri tek başına yerine getirebilir ve bilgileri öncekilerden daha iyi bir şekilde entegre edebilir.
Makalede, Chameleon’un, modelin görüntüler, kod, metin ve diğer girdilerin bir kombinasyonundan öğrendiği ‘erken-füzyon token tabanlı karma-mod’ mimarisini kullandığı belirtiliyor. Ayrıca diziler oluşturmak için görüntü, metin ve kod belirteçlerinin bir karışımını kullanıyor.
Makalede aktarılan bilgilere göre, Chameleon’un birleşik token alanı, mod özelinde bileşenlere ihtiyaç duymadan, iç içe geçmiş görüntü ve metin dizileri üzerinde sorunsuz bir şekilde akıl yürütmesine ve bunları oluşturmasına olanak tanıyor.
En son model, 4,4 trilyon token metin, görüntü-metin kombinasyonları ve iç içe geçmiş metin ve görüntü dizileri içeren bir veri seti kullanılarak iki aşamada eğitildi. Araştırmacılar, Chameleon’un iki versiyonunu, birinde 7 milyar ve diğerinde 34 milyar parametre kullanarak Nvidia A100 80GB GPU’larında 5 milyondan fazla saat boyunca eğitti.
Yorumlar