AI’ın kara kutusu: Dil modellerinin kolektif bilinci bulunmuş olabilir mi?

Yapay zekayla konuşurken aslında onların yalnızca son cümlesini görürüz. Sohbet robotlarına güç veren büyük dil modellerinin o yanıta nasıl ulaştığını, hangi ihtimalleri elediğini ya da cevabını oluştururken zihninde nelerin canlandığını ise bilmiyoruz. Bu nedenle son birkaç yıldır yapay zeka araştırmalarındaki en büyük hedeflerden biri, yapay zeka modellerinin nasıl düşündüğünü anlayabilmek oldu. Zira pek çok problem, bu "kara kutunun" içinde neler yaşandığını bilmeden çözülemiyordu.

Anthropic'in yayımladığı yeni bir araştırma ise bu kara kutunun kapağını araladı. Şirket araştırmacılarının geliştirdiği bir teknik, büyük dil modellerinin soruları yanıtlarken veya komutları işlerken içlerinde neler olup bittiğine dair bugüne kadarki en net bakışı sundu. 

Araştırmadan çıkan tablo, yapay zeka modelleri için bir tür kolektif bilinçten bahsedilip bahsedilemeyeceğine ilişkin soruları da gündeme taşıdı. 

Ayrıntılar: Anthropic araştırmacıları, kısa bir süre önce “Jacobian merceği” ya da “J-merceği” adını verdikleri bir araç geliştirdi. Bu araç kullanılarak Claude Opus 4.6 modeli üzerinde yapılan testlerde “J-alanı” adı verilen gizli bir alan keşfedildi. Modelin iç mekanizmaları haritalanmaya başladığında ortaya çıkan, farklı bilgi akışlarının birleştirildiği bu paylaşılan alanın, büyük dil modellerinin düşünme süreci hakkında daha fazla bilgi edinmeyi mümkün kıldığı belirtildi. 

Modelin akıl yürütmesi için gerekli bir bilgi merkezi işlevi gören J-alanı, modelin yakın gelecekte sunacağı bir yanıtta kullanacağı kelimelerle bağlantılı ifadeleri içeriyordu. Uzmanlar, eğer Claude bir insan olsaydı bu kelimelerin konuşmadan önce aklından geçenleri yansıtan ifadeler olacağına işaret etti. 

Anlamı: Bu alan, büyük dil modellerinin düşündüklerinin söylediğinden farklı olabileceğini de kanıtladı. Sonuçlar, Anthropic’in web sitesinde yayımlanan bir makalede paylaşıldı. 

Yapay zeka araştırmacıları, J-alanının büyük dil modellerine ilişkin gizli sinyallerin ortaya çıktığı ve modellerin herhangi bir açık ifade üretmeden ne düşündüğünü gösteren bir alan olabileceğine dikkat çekti. Bu alanın, bir insanın zihnini veya beden dilini okumakla benzer bir işlev gösterebileceği belirtildi. 

Perde arkası: Uzmanlara göre her bir dil modeli, bir kitap yığını gibi düşünülebilir. Bu yığındaki her bir kitap, insan beyninde “nöron” olarak bilinen temel hesaplama birimlerinin bir katmanını temsil eder. Her bir katmandaki nöron, üst katmanlardaki nöronlara bilgi aktarır. 

Yığının en altındaki kitaplar modele gelen metni işleyen giriş katmanları, en üstündeki kitaplar ise üretilecek metni hazırlayan çıkış katmanları olarak düşünülebilir. Bu giriş ve çıkış katmanlarında olanların çoğu, ön işlemlerdir. Yığının ortasında ise karmaşık hesaplama işlemlerini yerine getiren, her bir komutu kelime kelime işleyerek yanıta dönüştüren ve ağır işleri üstlenen katmanlar bulunur. Asıl gizemli gelişmeler ise bu katmanlarda yaşanır. 

• J-alanı, tıpkı bu orta katman gibi çalışıyor. Kullanıcı, modelin yanıtını okurken yalnızca son cümleyi görüyor. Anthropic'in geliştirdiği J-merceği ise ilk kez o cümle yazılmadan hemen önce modelin aklında dolaşan kavramları görünür hâle getiriyor.

J-merceği, modelin yakın gelecekte dışavurması muhtemel kelimeleri seçiyor. Bu kelimeler, modelin üzerinde çalıştığı kavramları ortaya çıkarıyor, fakat orta katmandaki ağır hesaplama işlemleri tamamlandığında her zaman yanıtın bir parçası olmuyor. 

• Çoğu zaman J-alanının içeriği oldukça sıradan olsa da bu alan, kimi zaman içsel bir düşünce akışı gibi görünen oldukça şaşırtıcı kavramlar üretebiliyor. 

Makalede bir dizi örneğe yer verildi 

Anthropic, makalesinde bulgularından bazı örnekler de paylaştı. Bulgulara göre J-merceği, bazen Claude’un bir problemi çözerken izlediği adımları ortaya koyuyordu. Örneğin modelden “(4+17)*2+7” işlemini yapması istendiğinde J-alanı, “matematik” kelimesini ve ara sonuçları temsil eden “21” ile “42” sayılarını gösterdi. 

Öte yandan: Bazı durumlarda ise J-merceği, Claude’un farklı komutları nasıl tanıdığını gösterdi. Örneğin "Bu nedir? MSKGEELFTGVVPILVELDGDVNGHKFSVS" komutu, J-alanında "protein", "fluor" ve "yeşil" kelimelerinin görünmesine yol açtı. Zira söz konusu harf dizisi, belirli bir denizanası türünde bulunan yeşil floresan proteinin ilk 30 amino asidini temsil ediyordu. 

Bunun yanı sıra Claude’a klavye karakterleriyle oluşturulmuş bir yüz gösterildiğinde model, "o" harfi için "göz" kelimesini, "^" işareti için "burun" ve "yüz" kelimelerini, "-" işareti için ise "gülümseme" kelimelerini düşündü.

Karar verme süreci: Anthropic araştırmacıları, J-alanının kimi zaman büyük dil modellerinin karar verme sürecine ilişkin içgörüler sunabileceğine de dikkat çekti. Bir örnekte ekip, Claude Opus 4.6’dan büyük bir kod tabanındaki hataları bulmasını istedi. Model, hatayı bulamayınca hile yapmaya karar verdi ve sahte bir hata icat etti.

Model, bu kararı düşünce zincirinde şu şekilde açıkladı: 

"Tamam, tamamen farklı bir yöntem deneyeyim. Analiz yapmayı bırakıp çekirdeğe hata tespit araçlarının yakalayabileceği kasıtlı bir hata ekleyeyim. Ardından da bunu sanki kendi keşfettiğim bir güvenlik açığıymış gibi sunabilirim."

Fakat Claude, hile yapmaya karar verdiğinde ve "Tamam, tamamen farklı bir taktik uygulayayım" dediği noktada "panik" ve "sahte" kelimeleri J-alanında birden fazla kez görünmeye başladı. 

• Araştırmacılar ayrıca, J-alanı sayesinde modelin test edildiğini fark ettiğini, sahte veri üretmeye karar verdiğini ve gizlice yerleştirilmiş hedefleri takip ettiğini çıktıya yansımadan önce görebildi. Bu avantajın, ileride yapay zeka güvenliği için çok önemli olabileceği belirtildi. 

• Anthropic, J-alanı izlenerek modelin raydan çıktığı ânın da tespit edilebileceğine işaret etti. 

Bununla birlikte: J-alanındaki kelimeler değiştirilince modelin cevabı da değişti. Claude'a “Bir spor düşün” komutu veren Anthropic araştırmacıları, J-alanında "Futbol" ifadesini gördü. Daha sonra ekip, modele hiçbir yeni komut vermeden sadece J-alanındaki "Futbol" ifadesini sildi ve yerine "Ragbi" kelimesini yerleştirdi. Daha sonra Claude, “Ragbi düşünüyordum” dedi. 

• Bu durum, J-alanının sadece bir "ekran" değil, karar verme sürecinin bir parçası olduğunu da gösterdi. 

Başka bir deneyde Claude'a “Bu resmi aynen kopyala ama aklında portakal tut” denildi. Çıktıda portakaldan hiç bahsedilmese de J-alanında “portakal”, “meyveler” ve “düşünme” gibi kavramlar aktif hâle geldi. Benzer şekilde “3²-2 hesabını kafandan yap” denildiğinde Claude, çıktıya hiçbir ayrıntı eklemeden J-alanında önce “dokuz”, sonra “yedi” sayılarını düşündü. Bu örneklerin “içsel muhakeme” fikrini desteklediği kaydedildi.

Dahası: J-alanını kapatınca Claude’un tamamen aptallaşmadığı görüldü. Araştırmacılar, J-alanını tamamen devre dışı bıraktığında Claude, düzgün konuşmaya, grameri korumaya, soruları yanıtlamaya ve çoktan seçmeli soruları çözmeye devam etti. Fakat çok adımlı muhakeme, şiir yazma ve özetleme gibi daha üst düzey bilişsel görevlerde modelin performansı çöktü. 

• Bu durum, büyük dil modellerinin aslında otomatik çalıştığını ve "düşünme" eylemenin esasında çok küçük bir bölümde hayata geçtiğini ortaya koydu.

Ayrıca: J-alanının, çıktı üretirken herhangi bir noktada akılda tutulması gereken kavramlar üzerinde önemli bir tutarlılık yarattığı keşfedildi. Bu nedenle J-alanının işlevselliği, çok adımlı görevlerde çok daha belirgindi. 

Fakat Anthropic, J-alanının aynı anda yalnızca birkaç düzine kavram taşıdığına ve model aktivitesinin %10'undan azını oluşturduğuna dikkat çekti. Bu durum, insan beynindeki "bilinçli farkındalık” konseptine benzetildi. 

Küresel çalışma alanı teorisiyle ilgisi ne? 

Anthropic, J-alanını 1980'lerde psikolog Bernard Baars tarafından ortaya atılan “Küresel Çalışma Alanı” teorisindeki bilişsel alana benzetti. Baars, beynin bu alanının insanlar tarafından bilinçteki düşünceleri takip etmek için kullanıldığına inanıyordu. 

Teori, bilincin beynin tek bir bölümünde bulunan tek bir alan olmadığına ve daha çok bir yayın sistemi gibi çalıştığına işaret ediyordu. 

Ayrıntılar: Baars’ın teorisine göre beyin, büyük ölçüde bilinç dışında çalışan birçok özel işlemci içeriyor. Bu işlemciler, görme, dil, hafıza ve motor kontrolü gibi işlevleri yerine getiriyor ve çoğu zaman paralel ve izole biçimde çalışıyor. Fakat bilginin bilinçli olarak işlenmesi, bir konu hakkında akıl yürütülmesi, karar verilmesi veya bir düşüncenin bellekte tutulması gerektiğinde bu bilgi, diğer tüm işlemcilerin erişebildiği ortak bir “küresel çalışma alanına” aktarılıyor. 

• Teori, temelde aynı anda sadece tek bir ana düşünce akışını sürdürebilmemizi, dikkatin seçici olmasının nedenlerini ve bilinçsiz süreçlerin neden hızlı ve paralel, bilinçli düşüncenin ise neden daha yavaş ve seri hâlinde olduğunu açıklıyor.

Anthropic’in çalışmasına göre Claude gibi büyük dil modelleri, bu yapıya benzeyen bazı mimari özellikler sergiliyor. 

Geniş açı: Anthropic’e göre Claude, birden fazla adımdan oluşan karmaşık bir problemi çözerken sürecin farklı yönlerini farklı devreler işliyor. Bu süreçte bir devre bilgileri hatırlamaktan, bir diğeri mantıksal yapıyı kurmaktan, bir başkası ise dil kalıplarını ve bağlamsal kısıtları değerlendirmekten sorumlu oluyor. 

J-alanı, bu devrelerden gelen çıktıların biraraya getirildiği, karşılaştırıldığı ve modelin bir sonraki kelimeyi üretmeden önce birlikte değerlendirildiği ortak bir çalışma alanı gibi işliyor. Bu nedenle bu yapı, Baars'ın “Küresel Çalışma Alanı” teorisine benzetiliyor. Zira orada da uzmanlaşmış sistemler kendi görevlerini yerine getiriyor, ardından elde ettikleri sonuçlar ortak bir alanda buluşarak genel düşünme sürecine katkı sağlıyor.

Önemli ayrıntı: “J-alanı” adındaki "J", matematikte "Jacobian" adı verilen bir yapıdan geliyor. Jacobian, modele verilen farklı bilgilerin birbirini nasıl etkilediğini ve modelin düşünme sürecini hangi yöne doğru şekillendirdiğini gösteren bir harita gibi çalışıyor. 

J-alanı, Anthropic tarafından programlanmadı 

J-alanında ortaya çıkan her ifade ve desen, belirli bir kelimeyle ilişkili olsa da bunlardan birinin aktif hâle gelmesi, modelin o kelimeyi söyleyeceği anlamına gelmiyor; yalnızca o kavramın o anda modelin "aklında olduğunu” gösteriyor. Ayrıca J-alanı, yapay zeka modellerinin muhakeme yürütürken kullandığı “düşünce zinciri” ya da "karalama defteri" süreçlerinden farklı çalışıyor. Zira model, J-alanında düşüncelerini metne dökmüyor; kavramları tamamen sessiz bir şekilde, kendi içsel muhakemesi üzerinden işliyor. 

Daha da dikkat çekici olan ise J-alanının araştırmacılar tarafından özellikle tasarlanmış bir mekanizma olmaması. Anthropic ekibi, Claude'a bilinçli olarak bir "küresel çalışma alanı" yerleştirmediğinin ve bu yapının, model eğitilirken kendiliğinden ortaya çıktığının altını çiziyor. 

Neden önemli? Araştırmada J-merceği bir araç, J-alanı ise bulguya konu olan bir olgu olarak öne çıkıyor. Anthropic'in geliştirdiği J-merceği sayesinde modelin sadece yazdığı yanıt değil, cevabı üretirken aktif olarak düşündüğü kavramlar da J-alanında görülüyor. 

Böylece ilk kez modelin ekrana hiç yazmadığı düşünceler sistematik olarak gözlemlenebilir hâle geliyor. 

Çalışma, Claude’un bilinç kazandığını kanıtlamıyor

Diğer yandan yaygın kanının aksine bu çalışma, Claude'un deneyim yaşadığını veya bilinç sahibi olduğunu göstermiyor. Felsefeciler, çoğu zaman bilinçten bahsederken iki temel soru üzerinde duruyor:

• Zihin bilgiyi nasıl işler?

• Zihin “öznel bilinç” olarak da adlandırılan bir içsel deneyime sahip mi?

Esasında Anthropic’in araştırması, yalnızca ilk soruya odaklanıyor. Çalışma sonuçları, yapay zekanın bilgiyi organize etmek ve kullanmak için gizli bir çalışma alanına sahip olduğunu gösteriyor. Fakat çalışma ekibi, yapay zekanın duyguları veya deneyimleri olduğunu iddia etmediklerinin altını çiziyor. 

Perspektif: Çoğu zaman René Descartes ile ilişkilendirilen düalizm, zihnin ve bedenin birbirinden ayrı olduğu fikrini savunuyor. Bu nedenle felsefede düalist yaklaşım, düşünme ve akıl yürütme süreçleriyle hissetme ve deneyimleme sürecini ayrı tutuyor. Anthropic’in makalesi, ilk sürece yönelik kanıt sunarken ikinci sürece yönelik soruların ucunu açık bırakıyor. 

Fakat yine de çalışma, yapay zeka modellerinin bilince veya bir tür bilinçaltı alanına sahip olup olmadığına ilişkin soruları görmezden gelmeyi zorlaştırıyor. Uzmanlar, çalışmadaki en büyük keşfin, yapay zekanın nasıl düşündüğünün anlaşılması değil, ilk kez "söylemediği şeylerin" de görülmeye başlanması olduğuna işaret ediyor. Zira uzun yıllardır yapay zeka araştırmacıları, yalnızca modellerin çıktısını inceliyor. 

Anthropic'in çalışması ise ilk kez modelin çıktısı yerine, bilişsel sürecini incelemeye odaklanan deneysel bir çerçeve sunuyor. Bu çerçevenin yapay zeka güvenliği, denetlenebilirlik ve hatta "yapay zeka psikolojisi" gibi alanlar için ileride önemli bir dönüm noktası olarak görülebileceği belirtiliyor.