OpenAI’ın resmi blog sayfasında paylaştığı bilgilere göre, GPT-4 tabanlı yeni bir yapay zekâ modeli olan CriticGPT, ChatGPT’nin kod çıktılarındaki hataları tespit etmek için eğitildi.
OpenAI, insanların ChatGPT kodunu incelemek için CriticGPT’den yardım aldığında, yardım almayanlara göre yüzde 60 daha başarılı olduğunu bulduklarını ifade etti. Aktarılanlara göre OpenAI, eğitmenlerine açık yapay zekâ desteği sağlayarak, CriticGPT benzeri modelleri “Reinforcement Learning from Human Feedback” (RLHF) sürecine entegre etmek için çalışmalara başlıyor.
We’ve trained a model, CriticGPT, to catch bugs in GPT-4’s code. We’re starting to integrate such models into our RLHF alignment pipeline to help humans supervise AI on difficult tasks: https://t.co/5oQYfrpVBu
— OpenAI (@OpenAI) June 27, 2024
ChatGPT’yi destekleyen GPT-4 serisi modeller, büyük miktarda veri üzerinde eğitiliyor, ardından RLHF adı verilen bir iyileştirme sürecinden geçiyor.
RLHF’nin amacı, yapay zekâ eğitmenleri olarak adlandırılan kişilerin farklı ChatGPT yanıtlarını birbirleriyle karşılaştırarak değerlendirdiği karşılaştırmaları toplamak ve modele hangi cevabın tercih edildiğini öğreterek daha iyi performans göstermesini sağlamak. Ancak modeller daha yetenekli hale geldikçe, yapay zekâ eğitmenlerinin hataları fark etmesi zorlaşabiliyor ve RLHF daha az etkili hale geliyor.
OpenAI da işte bu nedenle CriticGPT’nin ChatGPT yanıtlarındaki hataları tespit etmek ve bu hataları vurgulayan eleştiriler yazması için eğitildiğini ifade ediyor. CriticGPT, kodları inceleyerek ve potansiyel hataları belirterek, insanların genellikle fark edemeyeceği bazı hataları tespit etmelerini sağlıyor.
Yorumlar