GPT-3 ile yapay zekâda yeni ufuklar

OpenAI 11 Haziran tarihinde sitesinden yaptığı açıklamada GPT-3 ürünüyle ilgili ayrıntılara yer verdi ve ilgili API’ı (Application Programming Interface) erişime açtı. Yapay sinir ağlarının, yüksek sayıda parametrelerle büyük hacimli veri setleri üzerinde eğitilmesi sonucu geliştirilen model, özellikle dil odaklı görevleri yerine getirebilmesiyle biliniyor.

• GPT nedir? 2018 yılında Elon Musk’ın kurucuları arasında bulunduğu OpenAI şirketi ilk versiyon GPT’yi (General Pretrained Transformer) yayımlamıştı. Tam anlam karşılığı “Genel Eğitilmiş Dönüştürücü” olan modelin amacı verilen kelimelerden makale yaratımı gibi farklı dil görevlerini yerine getirmekti. İlk versiyonun üzerinden bir yıl geçmeden tanıtılan ve işlevsel kapasitesi artırılmış GPT-2 ise sahte haberler gibi topluma zarar verebileceği düşünülen eylemlerde kullanılması endişesiyle yaklaşık 9 ay boyunca halka açık kullanıma açılmadı. Unsupervised yani gözetimsiz bir modele sahip olan GPT-2’nin ürettiği yazıların bir makine tarafından mı yoksa bir insan tarafından mı yazıldığının anlaşılmasının oldukça zor olabileceğini belirten uzmanlar, modelin sahte haberleri belirlemeye yarayabileceğini açıkladı. Cornell Üniversitesi’nden uzmanlarla yapılan çalışmalarda GPT-2’nin ürettiği yazıların neredeyse The New York Times makaleleri kadar özgün olduğunu düşünen okuyucu görüşleriyle artan kuşku, modelin gramer düzenleme ve sağlık alanında soru-cevap sistemi geliştirme gibi işlerde verimli olarak kullanıldığının farkına varılmasıyla kullanıma açıldı. 
   
• GPT-3 ve GPT-2 Farkı: Araştırmacılar tarafından, farklı görevler üzerinde sıfıra yakın ince ayarla çalışabilecek bir Doğal Dil İşleme (NLP - Natural Language Processing) modeli geliştirmek olarak tanımlanan hedef, OpenAI’ın önceki çalışmalarından da elde edilen deneyimlere göre daha geniş hacimli bir modelle mümkün görünüyordu. Bu doğrultuda modelin eğitileceği parametre ve veri setini genişleten ekip; GPT-2’de kullanılana kıyasla 100 kattan fazla parametre kullandı. GPT-2, 1,5 milyar parametrenin 8 milyon doküman ve Reddit’te paylaşılan yazılardan oluşan 40 GB boyutundaki metin dosyası üzerinde eğitilmesinden oluşan bir modeldi. Sonraki versiyon olan GPT-3’te ise 175 milyar parametre, aralarında Common Crawl ve İngilizce dilinde tüm Wikipedia’nın da bulunduğu farklı kaynaklara sahip olan 45 terabaytlık veri seti üzerinde eğitildi. Bu seviyede hacim farkına sahip olan veri setinin karşılığı da test sürecinde LAMBADA dil modelleme görevinde yeni rekorun elde edilmesi gibi başarılarla alındı. Kullanılan veri seti ve sonuç bağlamında Moore modeline uygun ilerleyen GPT projesinin sonraki versiyonunda da benzer bir ilerleme beklentisi mevcut. 
   
• GPT-3 ve yapabildikleri: GPT-3 geniş bir işlev ağına sahip: Uzun yazılar yazmak, herhangi bir konuda tweet oluşturmak, şiir yazmak, gramer düzeltmek gibi işleri insan kapasitesine yakın bir şekilde yapabiliyor. Bunlara ek olarak müzik besteleyebilmesi, farklı yazarların tarzlarını taklit edebilmesi, farklı dillerden temel bilgi gerektiren sorulara yanıt verebilmesi ve kod yazabilmesi, GPT’nin en çok dikkat çeken fonksiyonları arasında yer alıyor. Özellikle geçtiğimiz hafta GPT-3’ün verilen görsel/fonksiyonel tariflere uygun olarak kod yazabilmesi birçok kişi tarafından paylaşılarak kısa süreli bir gündem oluşturmuştu. GPT-2’ye kıyasla daha geniş yelpazede çözümler üretebileceğini gösteren GPT-3’ün, tarifleri koda çevirebilmesinin ne kadar verimli olduğu ilk aşamada sorgulanmaya başlansa da metodolojik olarak önemli bir avantaj getiriyor. Pre-trained modellerin gerekli ince ayarlar yapılarak hedeflenen sorunlara çözüm geliştirmede kullanılması son zamanlarda NLP alanında yaygın olarak kullanılıyor. Öte yandan OpenAI’ın ince ayara olan gerekliliği ortadan kaldırma hedefi GPT-3’ü hepsinden farklı bir noktada konumlandırıyor. Dolayısıyla henüz ilk evre kullanıma açık olan modelin verimi ve geleceğe yönelik potansiyeli tam olarak bilinemese de alana getirdiği farklı yaklaşım ve ilgi çekici uygulamalar şimdiden teknoloji için büyük önem taşıyor.