Kâr amacı gütmeyen değerlendirme kuruluşları METR ve Redwood Research, yapay zekâ modellerinin insan çıkarları ve değerleri doğrultusunda davranıp davranmadığını izleyen OpenAI’ın dahili sisteminde daha önce bilinmeyen birkaç zayıflık bulduklarını söylüyor. Kuruluşlara göre, açıkların biri yapay zekâ ajanlarının son eylemlerinden “yüzlercesinin” izlenmesini engelleyebiliyordu.
Bulgular, her kuruluştan bir çalışanın OpenAI’ın kod tabanına, belgelerine ve bazı teknik personeline erişim kazandığı bir pilot çalışmadan çıktı. Çalışanlara refakat edildi ve şirket yerleşkesinde kalan, OpenAI tarafından sağlanan cihazları kullandılar.
Değerlendirme kuruluşları neyi test etti?
Üç hafta süren çalışma 21 Temmuz’dan 11 Ağustos’a kadar yürütüldü. METR ve Redwood, OpenAI pilot sırasında sistemi genişletirken izleme sistemini 21 Temmuz’da ve öncesinde mevcut olan haliyle test ettiklerini söyledi. Kuruluşların açıklamasına göre OpenAI, üretimdeki güvenlik önlemlerini etkileyen açıkları giderdiğini değerlendirme ekiplerine bildirdi.
Değerlendirme ekipleri OpenAI’la 61 sayfalık bir rapor paylaştı, ancak yalnızca genel hatlarıyla bilgi yayımladı. Pilotun izleme sistemi hakkında kamuoyuna kapsamlı ve şeffaf bilgi sunmayı amaçlamadığını, gelecekteki çalışmalar hakkında daha fazla ayrıntı paylaşmayı beklediklerini belirttiler.
Dışarıdan erişim denemesi
Pilot, bağımsız araştırmacılara OpenAI sistemlerine geniş erişim sağlamanın nasıl görünebileceğini de sınadı. CEO Sam Altman, eylülde dışarıdan değerlendirme ekiplerine “çalışan benzeri erişim” sözü vermişti. OpenAI, ekim ayının başlarında üçüncü taraf güvenlik değerlendiricileriyle sözleşmeleri sonuçlandırdığını açıklamıştı.
Bağımsız değerlendirme modeli hâlâ şekilleniyor. Raporda açıklar kamuoyuna ayrıntılı biçimde anlatılmıyor; mevcut açıklama da dışarıdan araştırmacıların düzeltmelerin işe yaradığını bağımsız olarak doğrulayıp doğrulamadığını ortaya koymuyor.
Neden önemli
OpenAI’ın güvenlik önlemlerine güvenenler açısından pilot, ajanların son eylemlerinden bazılarının izlemeyi atlatabildiğini ortaya koydu; OpenAI ise üretimi etkileyen zayıflıkları giderdiğini söylüyor. Kamuya açık özet, düzeltmeleri bağımsız biçimde değerlendirmeye yetecek ayrıntıyı sunmadığından, bunların ne kadar etkili olduğu belirsizliğini koruyor.
