OpenAI’ın geçtiğimiz günlerde kullanıma açtığı o3 ve o4-mini’nin eski modellere kıyasla daha fazla yanıltıcı bilgi sunduğu keşfedildi.

OpenAI’ın kısa süre önce tanıttığı yeni yapay zekâ modelleri o3 ve o4-mini her ne kadar özellikleri ile beğenilmiş olsalar da eski modellerdeki can sıkıcı bir sorunla geldi.

Ortaya çıkan detaylara göre bu iki yeni modelin gerçek dışı bilgiler üretme eğilimi, önceki modellere kıyasla artmış durumda. OpenAI’ın kendi testlerine göre bu yeni modeller, hem eski “akıl yürütme” modelleri olan o1, o1-mini ve o3-mini’den hem de GPT-4o gibi daha geleneksel modellerden daha fazla ’halüsinasyon’ görüyor.

Daha da dikkat çekici olan ise bu artışın sebebinin henüz tam olarak anlaşılamamış olması. OpenAI yayınladığı teknik raporda bu sorunun çözümü için daha fazla araştırmaya ihtiyaç duyduklarını kabul etmiş durumda.

Teknik veriler neler söylüyor?

OpenAI’ın şirket içi testlerine göre o3 modeli, insanlarla ilgili bilgileri değerlendiren PersonQA testinde soruların %33’ünde halüsinasyon gördü. Bu oran, o1 ve o3-mini’nin sırasıyla %16 ve %14,8 olan halüsinasyon oranlarının neredeyse iki katı. O4-mini ise bu alanda %48 ile daha da kötü bir performans sergiledi.

Üçüncü parti testlerde de benzer sonuçlar ortaya çıktı. Bağımsız araştırma laboratuvarı Transluce, o3 modelinin cevap verirken tamamen gerçek dışı işlem adımları uydurma eğiliminde olduğunu ortaya koydu.

Transluce’un kurucularından ve eski OpenAI çalışanı Neil Chowdhury’ye göre bu durumun sebebi modellerin eğitiminde kullanılan yöntemler olabilir ancak net bir sebebe dayandırmak şu aşamada güç.

Gücüne şüphe yok, peki ya güvenine?

o3 modeli her ne kadar bazı görevlerde, özellikle de kodlama ve matematikte başarılı sonuçlar verse de sık sık hatalı sonuçlar üretmesi ya da gerçekte olmayan kaynaklar sunması gibi ciddi sorunlara sahip.

Öte yandan mevcut hâliyle GPT-4o, OpenAI’ın SimpleQA testinde %90 doğruluk oranı yakalayarak hâlâ güçlü bir alternatif.

ChatGPT ile ilgili diğer içeriklerimiz:

Şimdilik OpenAI cephesinden konuya dair açıklama ve iyileştirmeler gelmesini beklemekten başka yapabileceğimiz bir şey yok ancak iki yeni model o3 ve o4-mini’yi kullanıyorsanız, çıktılarınıza körü körüne inanmamanızı ve dikkatle kontrol etmenizi tavsiye ediyoruz.