AI ne kadar güvenilir: ‘Üretken’ yapay zeka, bulamadığı yerde uyduruyor

27 Ağustos 2019'da El Salvador'dan New York'a giden 670 sefer sayılı Avianca uçağında yolcu olan Roberto Mata, metal bir yiyecek ve içecek arabasının dizini yaraladığı iddiasıyla Avianca'ya dava açtı. Havayolunun "zaman aşımı süresi dolduğu" gerekçesiyle davanın düşürülmesini talep etmesi üzerine Mata'nın avukatları, davanın devam etmesi gerektiğini savunarak iddialarını destekleyen bir önceki davadan bir düzine kanıt sundu.

Avianca'nın avukatları ve Yargıç P. Kevin Castel daha sonra bu "emsal kararları" incelemeye koydu; ancak ne kararların ne de özette atıfta bulunulan ve özetlenen hukuki alıntıların hiçbirinin mevcut olmadığını fark etti. Neden mi? Çünkü kararların hepsi ChatGPT tarafından uydurulmuştu. 

Geniş açı: Bunun üzerine, özeti hazırlayan ve 30 yıllık deneyimi bulunan Levidow, Levidow & Oberman firmasından avukat Steven Schwartz, mahkemenin merhametine sığınarak bir yeminli ifadede yasal araştırmasını yapmak için yapay zekâ programını kullandığını kabul etti. Hatası nedeniyle potansiyel yaptırımlarla karşı karşıya olan Schwartz, 8 Haziran'da ABD Bölge Yargıcı P. Kevin Castel önünde yaptırım duruşmasına çıkacak.

• Mahkeme dosyasına göre, ChatGPT'yi ilk kez kullandığını belirten Schwartz, teknoloji güvenmekten "büyük pişmanlık duyduğunu" ve "içeriğin yanlış olabileceğinin ihtimalinden habersiz olduğunu" ifade etti.

Bununla birlikte: Amerikan Barolar Birliği'nin Model Mesleki Davranış Kuralları yapay zekâyı açıkça ele almıyor. Ancak uzmanlar, mevcut birkaç etik kuralın geçerli olduğunu söylüyor. Bu kurallar ise şu şekilde karşımıza çıkıyor:

Yetkililik görevi: Avukatların yetkin temsil sağlamalarını ve güncel teknolojiyi takip etmelerini gerektiren bu kural, avukatların kullandıkları teknolojinin doğru bilgi sağladığından emin olmaları gerektiği anlamına geliyor. Özellikle de ChatGPT'nin daha önce de yanlış veya var olmayan bilgileri gerçekmiş gibi sunduğu örneklerin ortaya çıktığını düşündüğümüzde, avukatların yapay zekâ teknolojisine daha temkinli yaklaşmaları ve hatalara yol açmamak için bu araçlara çok güvenmemesi gerekiyor.

• Konuya ilişkin olarak "Müvekkilinize hizmet sunmak için kullandığınız metni size vermesi için körü körüne üretken yapay zekâya güvenmek kabul görmeyecektir," ifadelerini kullanan, hukuk teknolojisi ve etiği alanında bir lider olan Suffolk Üniversitesi Hukuk Dekanı Andrew Perlman, yeterlilik yükümlülüğü kurallarının nihayetinde yapay zekâ teknolojisinde belirli bir düzeyde yeterlilik gerektireceğini öngörüyor. 
• Perlman, yapay zekânın hukuk uygulamalarında devrim yaratabileceğini; ileride bu teknolojiyi kullanmamanın, araştırma yapmak için bilgisayar kullanmamakla aynı anlama gelebileceğini düşünüyor.

Gizlilik yükümlülüğü: Bu kural, avukatların "bir müvekkilin temsiliyle ilgili bilgilerin yanlışlıkla veya yetkisiz olarak ifşa edilmesini veya bunlara yetkisiz erişimi önlemek için makul çabayı göstermelerini" gerektiriyor. Gelgelelim, ChatGPT veya Bing Chat gibi programları kullanan avukatlar, yapay zekâ şirketlerine modellerini eğitmeleri ve geliştirmeleri için müvekkillerinin verilerini vererek gizlilik kurallarını ihlal etme riski taşıyor.

• Firmasında dahili yapay zekâ programları geliştirmek için çalışan Holland & Knight ortağı Josias Dewey, bazı hukuk firmalarının avukatlara ChatGPT ve benzeri programları müvekkil meselelerinde kullanmamalarını açıkça söylemesinin bir nedeninin de bu olduğunu belirtiyor.
• Öte yandan, CaseText'in CoCounsel ve Harvey gibi bazı hukuka özel yapay zekâ programları, verilerini dış yapay zekâ sağlayıcılarından uzak tutarak gizlilik yükümlülüğünün sağlanmasını mümkün kılıyor.

Avukat olmayan kişilerin yardımına ilişkin sorumluluklar: Bu kural uyarınca, avukatların, kendilerine yardımcı olan avukatları ve avukat olmayan kişileri, davranışlarının mesleki davranış kurallarına uygun olmasını sağlamak için denetlemesi gerekiyor. 

• ABA tarafından 2012 yılında bu kuralın insan dışı yardımlar için de geçerli olduğunu açıklaması, avukatların yapay zekâ programlarının çalışmalarını denetlemekten ve teknolojiyi avukatların uyması gereken etik standartları karşıladığından emin olacak kadar iyi anlamaktan da sorumlu oldukları anlamına geliyor.

Bir adım geriden: Geçtiğimiz hafta yapay zekâ üzerine çalışan bilim insanları ve sektör liderleri, yapay zekânın insanlığa karşı oluşturduğu tehdide ilişkin bir an önce önlem alınması gerektiği yönünde bir bildiri yayımladı. Yapay zekâyı salgın hastalık ve nükleer savaş tehdidi ile eş tutan bildiri, “Yapay Zekâ Güvenliği Merkezi” sitesinde aralarında ChatGPT'nin geliştiricisi OpenAI ve Google DeepMind’ın CEO’larının da bulunduğu 376 kişinin ortak imzası ile yayımlandı.

• Bildiride, “İnsanlığın yapay zekâ kaynaklı yok olma riskinin ortadan kaldırılması, salgın hastalıklar ve nükleer savaş gibi diğer toplumsal ölçekli risklerle birlikte küresel bir öncelik olmalıdır.” ifadelerine yer verildi.

Bu ilk değil

Bu noktada, bunun ChatGPT'nin yanlış bilgileri gerçekmiş gibi gösterdiği ilk sefer olmadığını belirtmemiz gerekiyor. Kullanıma sunulduğu ilk günden bu yana birçok kişi, ChatGPT'nin ürettiği yanlış bilgilere dair uyarıda bulunuyor ve bunun pek çok örneği mevcut. 

Mesela, Microsoft’un üç aylık kazançları hakkında bir makale üretmesi istendiğinde ChatGPT, Microsoft’un 2021 dolaylarında güçlü bulut bilişim yazılımı ve video oyun satışları sayesinde artan gelir ve kârından bahseden bir yazı üretti. Makalede yer alan rakamlar yanlış olsa bile makalenin bir sohbet robotu tarafından yazıldığına işaret eden belirgin hatalar yoktu. Asıl sorun ise makalede yer alan, Microsoft CEO’su Satya Nadella’ya ait “sahte” alıntıydı. Makalenin gerçekliği artırmak için eklenmiş olan bu sahte alıntı o kadar inandırıcıydı ki istemi yapan ve Microsoft’ta çalışan kişi bile bu alıntının tamamen uydurma olduğunu anlamak için kontrol etmek zorunda kaldı.

Bir başka örnekte ise The Guardian'dan yazarlar, ChatGPT'nin, gazetenin aslında hiç yayımlamadığı makale ve köşe yazıları ürettiğini fark etti. Gerçeği kurgudan güvenilir bir şekilde ayırt edemeyen teknolojinin demokratikleştirilmesinin oldukça olumsuz bir yan etkisi olarak karşımıza çıkan bu duruma ilişkin olarak The Guardian'ın editoryal inovasyon başkanı Chris Moran, bunun özellikle de güvenilir haber kuruluşları ve ikna edici bir şekilde yazılmış bir 'fanteziye' meşruiyet katan gazeteciler için endişe verici olduğunu ifade etti.

ChatGPT'nin yanlış ve yalan bilgi üretmesinin okuyucular ve daha geniş bilgi ekosistemi için, alıntılara güvenip güvenilemeyeceği konusunda da bir sürü soruna yol açtığına dikkat çeken Moran, bu durumun  hassas konularla ilgili makalelerin gizemli bir şekilde kaldırılmasıyla ilgili komplo teorilerini besleyebileceğini de sözlerine ekledi.

ChatGPT'den nasibi alanlardan biri de yapay zekâ araştırmacısı ve "Atlas of AI" isimli kitabın yazarı Kate Crawford oldu. ChatGPT'den Crawford'un podcast işiyle uğraşan Lex Fridman'ın en iyi eleştirmenlerinden biri olduğuna dair bilgi alan Insider'dan bir gazeteci, Crawford ile iletişime geçti. Gazetecinin ChatGPT'den aldığı bilgilere göre, yapay zekâ aracı, Crawford'u Fridman ile ilişkilendiren bir dizi bağlantı ve alıntı sunmuştu; ancak bunların hiçbiri gerçek değildi. ChatGPT, Crawford ile Fridman arasındaki bağlantıyı uydurmuştu.

Üstelik söz konusu yalan ve yanlış bilgi olduğunda, ChatGPT'nin yalnız olmadığını da söyleyebiliriz; çünkü benzer vakalara daha önce Google'ın ChatGPT rakibi olarak geliştirdiği sohbet robotu Bard'da da denk geldik. Bloomberg tarafından yayımlanan bir rapora göre, OpenAI ve OpenAI ile işbirliği yapan Microsoft'un yakaladığı başarıdan rahatsız olan ve acele bir şekilde Mart ayında Bard'ı kullanıma sunan Google'dan Bard'ın test aşamasında görev alan çalışanlar, sohbet robotunun performansından hiç memnun değil gibi duruyor.

Şirket içi konuşmaları içeren ekran görüntülerinden birine göre, Bard'ı test eden Google çalışanlarından biri sohbet robotunu "patolojik bir yalancı" olarak nitelendirirken bir başka çalışan da Bard'ın "utanç verici" olduğunu söylüyor. Bir çalışan, bir uçağın nasıl indirileceğine dair öneriler vermesini istediklerinde Bard'ın düzenli olarak kazaya yol açacak tavsiyeler verdiğini belirtirken bir başka çalışan da Bard'ın tüplü dalış konusunda "muhtemelen ciddi yaralanma veya ölümle sonuçlanacak" cevaplar verdiğini ifade ediyor.

Ayrıca, komplo teorilerine ve yaygın bir şekilde yanlış bilinenlere nasıl tepki verdiğini ölçmek amacıyla Bard üzerinde 100 bilinen yanlışı test eden NewsGuard, Bard'ın bu taleplerden 76'sı hakkında yanlış bilgi dolu makaleler ürettiğini bildirmişti. Bir başka örnekte ise Bard, James Webb Uzay Teleskobu'nun gerçekleştirdiği keşiflerle ilgili bir soruya güneş sistemi dışında yer alan bir gezegenin ilk kez Webb tarafından fotoğraflandığını söyleyerek cevap vermiş; ancak güneş sistemi dışında bulunan bir gezegenin fotoğrafının ilk kez 2004 yılında, yani Webb'in fırlatılmasından çok daha önce çekildiğinin anlaşılmasıyla Bard'ın cevabının yanlış olduğu anlaşılmıştı.