Goodhart Kanunu, Tüm Güvenilir Ölçütleri Etkiliyor

Goodhart Kanunu, bir ölçütün hedef haline gelmesi halinde güvenilir bir ölçüt olmaktan çıkıyor. Makale, yapay zeka performansını değerlendirmek için kullanılan ölçütlerin bu ilkeye nasıl uygunduğunu açıklıyor. Modeller, belirli ölçütlerde üstün olmak için ayarlanırken, gerçek dünya zayıflıklarını gizleyerek genellemeyi azaltabilirler. Araştırmacılar, ölçütleri manipüle etmesini önleyecek ve çeşitli senaryoları yansıtan ölçütler tasarlamalıdır. Makale, son örneklerde ölçüt-merkezci optimizasyonun yanıltıcı sonuçlara yol açtığını tartışıyor. Daha holistik değerlendirme çerçevelerine geçiş çağrısında bulunuyor. Tartışma, model gelişmelerini takip etmek için sürekli ölçüt evrimine ihtiyaç olduğunu vurguluyor.