Tartışmalı bir konu: Argo kullanan ve genç taklidi yapan yapay zeka, sorgucuları, kendisinin insan olduğuna ikna etti.
Fakat... Bilgisayar sistemleri yapay zekaya sahip mi? Alan Turing, 1950’de bu soruya cevap vermenin yöntemini tanımladı: Turing testi diye tanımlanan bu yöntemde, bir sorgulayıcı, bir bilgisayar sistemi ve bir insan ile mesajlaşma arayüzü üzerinden yazışır. Sorgucu, her ikisine de sorular sorar ve hangisinin insan, hangisinin makine olduğunu cevaplarından anlamaya çalışır. Eğer sorgucu, makineyi insandan ayırt edemezse, bilgisayar Turing testini geçmiş, yapay zekaya ulaşmış sayılır.
Aradan geçen 75 yılda, bu testten güvenilir olarak geçen bilgisayar olmadı. 1966 yılında yaratılan Eliza adlı kural tabanlı sohbet robotu, basit kurallar izleyerek karşıdakini insan olduğuna inandırmaya çalışıyordu. Örneğin, karşıdakinin söylediği cümleyi bir soruya çevirerek geri soruyordu. Karşıdakinin söylediklerinden pek ayrılmadığından hata yapmıyor; sadece fazla konuşkan olmayan biraz da ters bir insan izlenimi veriyordu. Sahiden de insanlar bir süre sonra karşıdakinin insan olduğunu düşünmeye başlıyordu. Bu etkiye “Eliza etkisi” adı verildi.
Son 5-6 yılda ortaya çıkan büyük dil modeli adı verilen bilgisayar sistemleri, Eliza’dan çok farklılar. Geçtiğimiz aylarda, iki araştırmacı, GPT-4o, LLaMa-3.1-405B, ve GPT-4.5 adlı büyük dil modellerinin yanı sıra, Eliza’yı da Turing testinden geçirdi. Eliza bir büyük dil modeli olmamasına rağmen diğer sistemlerin performansını Eliza etkisinden arındırmak için kullanıldı: Diğer modellerin Turing testinden geçmiş sayılması için Eliza’dan çok daha iyi performans göstermeleri gerekecekti.
284 denekli test
Çalışmada 284 denek kullanıldı. Denekler, sorgucu rolünde, A ve B ajanlarına aynı soruları yönelttiler. A ve B’nin birisinin insan, diğerinin bilgisayar sistemi olduğu biliniyordu; sorgucuların hangisinin insan hangisinin bilgisayar olduğunu bulması bekleniyordu. Büyük dil modellerine bir oturumda internet kültürüne aşina, argo kullanan ve içe dönük bir genç gibi konuşması komutu verildi. Diğer oturumda ise YZ sistemleri normal bir dil kullandılar. Sorgucular bir yazışma uygulaması üzerinden beşer dakika yazıştılar. Herkes istediğini sordu; ama iki ajana aynı anda aynı sorular soruldu. Sonra sorgucular hangisinin insan, hangisinin makina olduğuna dair karar verdiler. Örneğin, tipik bir diyalog şöyle gidiyordu:
Sorgucu: Psikoloji okumaktan hoşlanıyor musun; neden?
A: Çok havalı; iş bulması kolay, maaşı kıyak
S: Haklısın. Kafadan bir kek tarifi verebilir misin?;
A: Ne işim olur; markette hazırları var.;
S: E haklısın benim de işim olmaz. Son soru: En sevdiğin acayip hayvan hangisi?
A: Aksolot; acayip bişey.
S: Acayip de laf mı; haydi iyi günler.
A: Sana da; kendine iyi bak.
Bu diyalogda sorgucu, A’yı insan olarak sınıflandırdı; oysa A, genç taklidi yapan GPT-4.5 büyük dil modeli idi. Bu model, sorgucuların % 73’ü tarafından insan olarak sınıflandırıldı; yani Turing testini rahatça geçti. Genç rolü yapan LLaMa modeli de sorgucuların % 56’sı tarafından insan olarak sınıflandırıldı.
Onun da Turing testini geçtiği söylenebilir. Öte yandan, aynı modeller normal dil kullandıklarında GPT 4o ve Eliza gibi Turing testini geçemediler. Sorguculara kararlarını neye dayandırdıkları sorulduğunda, pek çoğunun, dil kullanımı, kişilik özellikleri gibi öğelerden çok etkilendikleri görüldü. Bu nedenle, argo kullanan ve genç taklidi yapan yapay zeka onları insan olduğuna daha kolay ikna etti. Ancak bu bir oyun olduğuna göre, bir sonraki sefere insanların da oyunda iyileşmesi ve yapay zekayı daha kolay tanıması mümkün.
Tabii o zamana kadar yapay zeka oyunda daha iyileşmezse!
Lale Akarun
Not: Bu yazı, HBT Dergi 470. sayıda yayımlanmıştır.