Yapay zeka alanındaki gelişmeler hız kesmeden devam ederken, OpenAI’nin GPT-4 tabanlı yeni modeli CriticGPT, ChatGPT yanıtlarındaki hataları tespit ederek insan eğiticilere yardımcı olmayı hedefliyor. CriticGPT’nin kullanımı, insan eğiticilerin performansını %60 oranında artırarak daha doğru ve etkili geri bildirimler sağlıyor.
OpenAI, GPT-4 tabanlı CriticGPT modelini, ChatGPT’nin kod çıktılarındaki hataları tespit etmek amacıyla geliştirdi. Bu modelin kullanımıyla, insanların ChatGPT kodlarını inceleme ve hataları bulma konusundaki başarı oranı %60’a kadar yükseldi. CriticGPT gibi modellerin RLHF (Reinforcement Learning from Human Feedback) etiketleme sürecine entegre edilmesi, eğiticilere yapay zeka desteği sağlama yolunda önemli bir adım olarak görülüyor. Bu adım, ileri düzey yapay zeka sistemlerinin çıktılarının değerlendirilmesini kolaylaştırmak ve insanların daha doğru geri bildirimler vermesini sağlamak için büyük bir ilerleme olarak nitelendiriliyor.
ChatGPT‘nin temelini oluşturan GPT-4 serisi modeller, “İnsan Geri Bildiriminden Takviyeli Öğrenme” (RLHF) yöntemiyle yardımcı ve etkileşimli hale getirildi. RLHF’nin kilit noktalarından biri, insanların farklı ChatGPT yanıtlarını karşılaştırarak puanlamasıdır. Ancak ChatGPT’nin doğruluk oranı arttıkça ve hataları daha incelikli hale geldikçe, eğiticilerin bu hataları tespit etmesi zorlaşıyor ve RLHF süreci daha karmaşık hale geliyor.
Bu zorluğun üstesinden gelmek için, CriticGPT modeli geliştirildi. CriticGPT, ChatGPT yanıtlarındaki hataları belirleyen eleştiriler yazarak eğiticilere yardımcı oluyor. Her ne kadar CriticGPT‘nin önerileri her zaman doğru olmasa da, eğiticilerin model yazılı yanıtlarındaki hataları daha fazla yakalamasına yardımcı oluyor. Ayrıca, insanlar CriticGPT’yi kullandıklarında, yapay zeka yeteneklerini artırarak daha kapsamlı eleştiriler yazabiliyor ve modelin tek başına çalıştığı durumlardan daha az yanlış tespit yapıyor.
CriticGPT, ChatGPT’ye benzer şekilde RLHF ile eğitildi. Ancak ChatGPT’den farklı olarak, hatalar içeren çok sayıda girdi gördü ve bu hataları eleştirmesi gerekti. Yapay zeka eğiticilerinden, ChatGPT tarafından yazılan kodlara manuel olarak hatalar eklemeleri ve bu hataları yakalamış gibi geri bildirim yazmaları istendi. Aynı kişi, hatalı kodun çeşitli eleştirilerini karşılaştırarak hangi eleştirinin eklenen hatayı daha iyi yakaladığını değerlendirdi.
Yapılan deneylerde, CriticGPT‘nin hem eklenen hataları hem de önceki bir eğitici tarafından yakalanmış doğal ChatGPT hatalarını tespit etme konusundaki başarısı incelendi. Eğiticiler, doğal hatalar üzerinde CriticGPT eleştirilerini, %63 oranında ChatGPT eleştirilerine tercih etti. Bu durum, yeni eleştirmenin daha az “önemsiz” şikayetler üretmesi ve daha az hata yapmasıyla ilişkilendirildi.
Ayrıca, ek test zamanı araması kullanarak daha uzun ve kapsamlı eleştiriler oluşturabileceği de tespit edildi. Bu arama prosedürü, koddaki sorunları ne kadar agresif bir şekilde arayacağımızı dengelememizi ve halüsinasyonlar ile tespit edilen hata sayısı arasında bir hassasiyet-tutarlılık dengesi kurmamızı sağlıyor. Bu, RLHF için olabildiğince yararlı eleştiriler oluşturmamızı sağlıyor.
CriticGPT, kısa ChatGPT yanıtları üzerinde eğitildi. Gelecekteki yapay zeka ajanlarını denetlemek için, eğiticilerin uzun ve karmaşık görevleri anlamalarına yardımcı olacak yöntemler geliştirilmesi gerekecek. Modeller hala halüsinasyon yapabiliyor ve bazen eğiticiler bu halüsinasyonları gördükten sonra etiketleme hataları yapabiliyor. Gerçek dünya hataları bazen bir yanıtın birçok bölümüne yayılabilir. Çalışma, tek bir yerde işaret edilebilen hatalar üzerine odaklanıyor, ancak gelecekte yayılmış hatalarla da başa çıkılması gerekecek.
Gittikçe daha karmaşık hale gelen yapay zeka sistemlerini hizalamak için daha iyi araçlara ihtiyaç duyuluyor. CriticGPT araştırmasında, GPT-4‘e RLHF uygulamanın, insanlar için daha iyi RLHF verisi üretme konusunda umut verici olduğu görüldü. Bu çalışmayı daha da ölçeklendirmeyi ve pratiğe dökmeyi planlıyorlar.
“Instagram Mavi Tik Nasıl Alınır? Ücretli ve Ücretsiz Yollar Nelerdir? Adım Adım Rehber!” içeriğimizin detaylarına buradan ulaşabilirsiniz!
