Sözlü saçmalık, AI sohbet robotlarının sınırlarını ortaya koyuyor

Yapay zeka sohbet robotları büyük dil modellerini kullanarak Görünüşe göre insanların dili kullanma ve anlama şeklini taklit eden yanıtlar üretmekancak yeni bir çalışma, bu modellerin saçmalıkları doğal dille karıştırmaya karşı savunmasız kaldığını gösteriyor. Bir araştırmacı ekibi için Kolombiya ÜniversitesiBu kusur, chatbot performansını iyileştirmenin yollarına işaret edebilir ve insanların dili nasıl işlediğini ortaya çıkarmaya yardımcı olabilir.
ABD Ulusal Bilim Vakfı araştırmayı finanse etti ve makale şu adreste yayınlandı: Doğa Makine Zekası. Bilim insanları, yüzlerce cümle çiftini dokuz farklı dil modeline sunarak, çalışmaya katılan kişilere, her bir çiftteki hangi cümlelerin günlük hayatta okunma veya duyulma olasılığının daha yüksek olduğunu sordular. Araştırmacılar daha sonra her bir cümle çiftini nasıl derecelendireceklerini görmek için cümleleri modellere sundular.
Birebir testlerde, daha karmaşık yapay zeka dil modelleri, internette veya çevrimiçi veritabanlarında bulunan kelime çiftlerinin sıklığını ölçen daha basit yinelenen sinir ağı modellerinden ve istatistiksel modellerden daha iyi performans gösterme eğilimindeydi. Ancak tüm modeller bazen insan kulağına saçma gibi gelen cümleler seçerek hatalar yaptı.
Makalenin ortak yazarlarından Nikolaus Kriegeskorte, “Bazı büyük dil modellerinin bu kadar iyi performans göstermesi, daha basit modellerin eksik olduğu önemli bir şeyi yakaladıklarını gösteriyor” dedi. “İncelediğimiz en iyi modellerin bile hala saçma cümlelerle kandırılabiliyor olması, onların hesaplamalarında insanların dili işleme şekliyle ilgili bir şeylerin eksik olduğunu gösteriyor.”
Columbia psikoloğu kıdemli yazar Christopher Baldassano, “Her modelde kör noktalar sergilendi” diye ekledi. “Bu, en azından şimdilik, AI sistemlerinin önemli kararlar vermesini ne ölçüde istediğimiz konusunda bize bir duraklama vermeli.”
Araştırma ekibi için kilit soru, yapay zeka sohbet robotlarındaki hesaplamaların, sinir bilimcilere insan beynini daha iyi anlama konusunda rehberlik edebilecek yeni bilimsel sorulara ve hipotezlere ilham verip vermeyeceğidir.
Gazetenin ilgili yazarı Tal Golan, “Sonuçta insanların nasıl düşündüğünü anlamakla ilgileniyoruz” dedi. “Karşılaştırma [the models’] Dil anlayışımızı bizimkine göre nasıl düşündüğümüz konusunda bize yeni bir yaklaşım kazandırıyor.”