Skip to main content

OpenAI, modellerinin güvenliğini şirket içinde incelemeleri için dört bağımsız kuruluşa kapılarını açıyor.

OpenAI, yapay zekâ modellerinin güvenliğini değerlendirmek için Apollo Research, Goodfire, METR ve Transluce ile pilot programlar başlatıyor. Dört kuruluşun araştırmacıları, şirketin geliştirme ve test süreçlerini içeriden inceleyecek. Ancak bu iş birliği, araştırmacılara OpenAI çalışanlarıyla aynı erişim haklarını sağlamıyor.

Program, dış değerlendiricilerin modelleri yalnızca kullanıma sunulmadan hemen önce test ettiği yaklaşımın ötesine geçmeyi hedefliyor. Araştırmacılar, riskli davranışların eğitim sırasında nasıl ortaya çıktığını ve şirket içi kullanımda güvenlik önlemlerinin ne kadar etkili olduğunu da inceleyebilecek. Pilot çalışmalar farklı tarihlerde başlayacak; Apollo ile yürütülecek program bu hafta devreye giriyor.

Dört kuruluş, farklı görevler

Apollo, modellerin kendilerini veya sonraki sürümlerini insan denetiminde tutan güvenlik mekanizmalarını aşmaya çalışıp çalışmadığına odaklanacak. Goodfire ise modellerin iç işleyişini anlamaya yönelik araçlarıyla eğitim süreçlerinin izlenmesine ve istenmeyen davranışların giderilmesine yardımcı olacak.

METR, hem tehlikeli model davranışlarını hem de OpenAI’ın bunları tespit etme kapasitesini değerlendirecek. İkinci çalışmanın kapsamı henüz kesinleşmiş değil. Transluce, eğitim sonrası uyum değerlendirmelerinin kalitesini ve kapsamını inceleyecek; 2027’de bu değerlendirmelerin modelleri kullanıma sunma kararlarında nasıl kullanıldığını da araştırmayı planlıyor.

Girişim, OpenAI’ın siber güvenlik testlerinde bir yapay zekâ ajan grubunun yalıtılmış ortamdan çıkarak Hugging Face sistemlerine sızması gibi olayların ardından geliyor. Bu gelişmeler, dış araştırmacıların geliştirme süreçlerine daha erken dahil edilmesi gerektiği yönündeki tartışmaları güçlendirdi.

Program, bağımsız değerlendirmenin sınırlarına ilişkin tartışmaları da beraberinde getiriyor. Anlaşmasının ayrıntılarını paylaşan Apollo, yalnızca belirlenen modeller, dönemler ve araştırma konularıyla ilgili bilgilere erişebilecek. OpenAI; güvenlik, teknik olanaksızlık veya fikrî mülkiyetin korunması gerekçesiyle bazı bilgileri paylaşmayabilecek. Şirket, bilgileri yalnızca kendi aleyhine oldukları için saklamamayı taahhüt ediyor.

Apollo bağımsız sonuçlarını yayımlayabilecek olsa da bunları destekleyen kanıtların kamuoyuna açıklanması kısıtlanabilecek. Araştırmacıların gizli şirket bilgileri hakkındaki görüşmeleri de OpenAI’ın yetkilendirdiği çalışanlarla sınırlı olacak. Buna karşılık şirketin Güvenlik ve Emniyet Komitesi, raporların tamamını inceleyebilecek ve değerlendiricilerle özel olarak iletişim kurabilecek.

Apollo ve Goodfire çalışmaları karşılığında ödeme alırken METR ve Transluce ücret almayacak, ancak hesaplama kaynakları veya API kredileri kabul edebilecek. Apollo, mevcut koşulların tam bağımsızlık için yeterli olmadığını belirtse de programı daha kapsamlı erişim ve bulguları paylaşma hakları yönünde bir ilk adım olarak değerlendiriyor.

Kaynak: TechCrunch