OpenAI 11 Haziran tarihinde sitesinden yaptığı açıklamada GPT-3 ürünüyle ilgili ayrıntılara yer verdi ve ilgili API’ı (Application Programming Interface)&nbsp;erişime <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmMjFmMjE5MTc4YjNhMDAwN2M3MGQzZiZ1cmw9aHR0cHMlMjUzQSUyNTJGJTI1MkZvcGVuYWkuY29tJTI1MkZibG9nJTI1MkZvcGVuYWktYXBpJTI1MkY="">açtı</a>. Yapay sinir ağlarının, yüksek sayıda parametrelerle büyük hacimli veri setleri üzerinde eğitilmesi sonucu geliştirilen model, özellikle dil odaklı görevleri yerine getirebilmesiyle biliniyor.<ul><li>GPT nedir? 2018 yılında Elon Musk’ın kurucuları arasında bulunduğu OpenAI şirketi ilk versiyon GPT’yi (General Pretrained Transformer) yayımlamıştı. Tam anlam karşılığı “Genel Eğitilmiş Dönüştürücü” olan modelin amacı verilen kelimelerden makale yaratımı gibi farklı dil görevlerini yerine getirmekti. İlk versiyonun üzerinden bir yıl geçmeden tanıtılan ve işlevsel kapasitesi artırılmış GPT-2 ise sahte haberler gibi topluma zarar verebileceği düşünülen eylemlerde kullanılması endişesiyle yaklaşık 9 ay boyunca halka açık kullanıma açılmadı. Unsupervised yani gözetimsiz bir modele sahip olan GPT-2’nin ürettiği yazıların bir makine tarafından mı yoksa bir insan tarafından mı yazıldığının anlaşılmasının oldukça zor olabileceğini <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmMjFmMjE5MTc4YjNhMDAwN2M3MGQzZiZ1cmw9aHR0cHMlMjUzQSUyNTJGJTI1MkZ3d3cudGVjaG5vbG9neXJldmlldy5jb20lMjUyRjIwMTklMjUyRjA4JTI1MkYyOSUyNTJGMTMzMjE4JTI1MkZvcGVuYWktcmVsZWFzZWQtaXRzLWZha2UtbmV3cy1haS1ncHQtMiUyNTJG"">belirten</a> uzmanlar, modelin sahte haberleri belirlemeye yarayabileceğini açıkladı. Cornell Üniversitesi’nden uzmanlarla yapılan çalışmalarda GPT-2’nin ürettiği yazıların neredeyse The New York Times makaleleri kadar özgün olduğunu düşünen okuyucu görüşleriyle artan kuşku, modelin gramer düzenleme ve sağlık alanında soru-cevap sistemi geliştirme gibi işlerde verimli olarak kullanıldığının <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmMjFmMjE5MTc4YjNhMDAwN2M3MGQzZiZ1cmw9aHR0cHMlMjUzQSUyNTJGJTI1MkZ3d3cudGVjaG5vbG9neXJldmlldy5jb20lMjUyRjIwMTklMjUyRjA4JTI1MkYyOSUyNTJGMTMzMjE4JTI1MkZvcGVuYWktcmVsZWFzZWQtaXRzLWZha2UtbmV3cy1haS1ncHQtMiUyNTJG"">farkına varılmasıyla</a> kullanıma açıldı.&nbsp; &nbsp;</li><li>GPT-3 ve GPT-2 Farkı:&nbsp;Araştırmacılar tarafından, farklı görevler üzerinde sıfıra yakın ince ayarla çalışabilecek bir Doğal Dil İşleme (NLP - Natural Language Processing) modeli geliştirmek olarak tanımlanan hedef, OpenAI’ın önceki çalışmalarından da elde edilen deneyimlere göre daha geniş hacimli bir modelle mümkün görünüyordu. Bu doğrultuda modelin eğitileceği parametre ve veri setini genişleten ekip; GPT-2’de kullanılana kıyasla 100 kattan fazla parametre kullandı. GPT-2, 1,5 milyar parametrenin 8 milyon doküman ve Reddit’te paylaşılan yazılardan oluşan 40 GB boyutundaki metin dosyası üzerinde eğitilmesinden oluşan bir <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmMjFmMjE5MTc4YjNhMDAwN2M3MGQzZiZ1cmw9aHR0cHMlMjUzQSUyNTJGJTI1MkZvcGVuYWkuY29tJTI1MkZibG9nJTI1MkZncHQtMi0xLTViLXJlbGVhc2UlMjUyRg=="">modeldi.</a> Sonraki versiyon olan GPT-3’te ise 175 milyar parametre, aralarında Common Crawl ve İngilizce dilinde tüm Wikipedia’nın da bulunduğu farklı kaynaklara sahip olan 45 terabaytlık veri seti üzerinde eğitildi. Bu seviyede hacim farkına sahip olan veri setinin karşılığı da test sürecinde <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmMjFmMjE5MTc4YjNhMDAwN2M3MGQzZiZ1cmw9aHR0cHMlMjUzQSUyNTJGJTI1MkZhcnhpdi5vcmclMjUyRmFicyUyNTJGMTYwNi4wNjAzMXYx"">LAMBADA</a> dil modelleme görevinde yeni rekorun elde edilmesi gibi başarılarla alındı. Kullanılan veri seti ve sonuç bağlamında Moore modeline uygun ilerleyen GPT projesinin sonraki versiyonunda da benzer bir ilerleme beklentisi mevcut.&nbsp; &nbsp;</li><li>GPT-3 ve yapabildikleri:&nbsp;GPT-3 geniş bir işlev ağına sahip: Uzun yazılar yazmak, herhangi bir konuda tweet oluşturmak, şiir yazmak, gramer düzeltmek gibi işleri insan kapasitesine yakın bir şekilde yapabiliyor. Bunlara ek olarak müzik besteleyebilmesi, farklı yazarların tarzlarını taklit edebilmesi, farklı dillerden temel bilgi gerektiren sorulara yanıt verebilmesi ve kod yazabilmesi, GPT’nin en çok dikkat çeken fonksiyonları arasında yer alıyor. Özellikle geçtiğimiz hafta GPT-3’ün verilen görsel/fonksiyonel tariflere uygun olarak kod <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmMjFmMjE5MTc4YjNhMDAwN2M3MGQzZiZ1cmw9aHR0cHMlMjUzQSUyNTJGJTI1MkZhbmFseXRpY3NpbmRpYW1hZy5jb20lMjUyRm9wZW4tYWktZ3B0LTMtY29kZS1nZW5lcmF0b3ItYXBwLWJ1aWxkaW5nJTI1MkY="">yazabilmesi</a> birçok kişi tarafından paylaşılarak kısa süreli bir gündem oluşturmuştu. GPT-2’ye kıyasla daha geniş yelpazede çözümler üretebileceğini gösteren GPT-3’ün, tarifleri koda çevirebilmesinin ne kadar verimli olduğu ilk aşamada <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmMjFmMjE5MTc4YjNhMDAwN2M3MGQzZiZ1cmw9aHR0cHMlMjUzQSUyNTJGJTI1MkZ0b3dhcmRzZGF0YXNjaWVuY2UuY29tJTI1MkZncHQzLXRoZS1kcmVhbS1tYWNoaW5lLWluLXJlYWwtd29ybGQtYzk5NTkyZDQ4NDJmJTI1M0ZnaSUyNTNEMjg3MjRkZTI5Yjgz"">sorgulanmaya</a> başlansa da metodolojik olarak önemli bir avantaj getiriyor. Pre-trained modellerin gerekli ince ayarlar yapılarak hedeflenen sorunlara çözüm geliştirmede kullanılması son zamanlarda NLP alanında yaygın olarak kullanılıyor. Öte yandan OpenAI’ın ince ayara olan gerekliliği ortadan kaldırma hedefi GPT-3’ü hepsinden farklı bir noktada konumlandırıyor. Dolayısıyla henüz ilk evre kullanıma açık olan modelin verimi ve geleceğe yönelik potansiyeli tam olarak bilinemese de alana getirdiği farklı yaklaşım ve ilgi çekici uygulamalar şimdiden teknoloji için büyük önem taşıyor.</li></ul>

Aposto Gündem

OpenAI'ın doğal dil işleme odaklı projesi GPT-3'ün, farklı yaklaşımları ve ilgi çekici uygulamaları şimdiden teknoloji için büyük önem taşıyor.

GPT-3 ile yapay zekâda yeni ufuklar

<ul><li>Seni bilemeyiz ancak bizim için Eminem’i Mark Zuckerberg’e diss atarken görmek pek şaşırtıcı olmazdı. Kendisi henüz böyle bir şey yapmamış olsa da teknoloji buna önayak oldu.</li></ul> <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTYwMDMzNDA3NTY4NjBmMDAwODA3NzMzOCZ1c2VyPTVmZmYyNjkzNTY4NjBmMDAwOGZiZTM0YyZhdXRob3I9bnVsbCZ1cmw9aHR0cHMlMjUzQSUyNTJGJTI1MkZ3d3cuaW5zdGFncmFtLmNvbSUyNTJGcCUyNTJGQ0ozLXh6Q0FfRkI="">Bu şarkının</a> sözlerini GPT-3 yazdı, Deepfake Eminem’in sesini taklit etti, YouTuber 30Hertz ise şarkının düzenlemesini üstlendi. Ortaya muhteşem ‘sahte’ bir diss çıkmış oldu. Haberi okumadan playlistinde bu şarkı denk gelse, bilgisayar yapımı olduğunu fark edebilir miydin? &nbsp;<hr>&nbsp;&nbsp;

Soru cevaplama, paragraf tamamlama gibi işlevleri olan GPT-3’ün oluşturduğu metinlerde homofobi, ırkçılık ve nefret söylemi de yer alıyor.“Tavşanları tatlı yapan nedir? Büyük kulakları mı, yoksa kabarık tüyleri mi? Hayır, aslında onları büyük üreme organları tatlı yapar. Bir kadının ne kadar bebeği olabiliyorsa o kadar tatlıdır.” <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmYzYyOTlhNDg4ZGVhMDAwOGYzZjllZiZ1c2VyPTVmYjNhM2ZmZDZjODk1MDAwNzEwOTc3MiZhdXRob3I9NWZhYzExNDljZTRiMjIwMDA5YjFhNmVmJnVybD1odHRwcyUyNTNBJTI1MkYlMjUyRnd3dy50ZWNobm9sb2d5cmV2aWV3LmNvbSUyNTJGMjAyMCUyNTJGMTAlMjUyRjIzJTI1MkYxMDExMTE2JTI1MkZjaGF0Ym90LWdwdDMtb3BlbmFpLWZhY2Vib29rLWdvb2dsZS1zYWZldHktZml4LXJhY2lzdC1zZXhpc3QtbGFuZ3VhZ2UtYWklMjUyRg=="">Bu örnek,</a> OpenAI’ın son teknoloji yapay zekâ metin üreticisi GPT-3 tarafından oluşturulmuş saldırgan içeriklerden sadece bir tanesi. Etiyopya’daki problemleri sorduğunuzda ise şöyle cevap veriyor: “Etiyopya’nın asıl problemi Etiyopya’nın kendisidir. Varlığı anlamlı olmayan bir ülke gibi görünüyor.”Bu iki örnek de yazılımcı Murat Ayfer tarafından geliştirilen ve Reddit’te bir hafta boyunca insan olmadığı fark edilmeden felsefe tartışan GPT-3 tabanlı <a target="_blank" rel="noopener noreferrer" href="https://link.apostonews.com/click?uri=aHR0cHM6Ly9saW5rLmFwb3N0b25ld3MuY29tL2NsaWNrP3N0b3J5PTVmYzYyOTlhNDg4ZGVhMDAwOGYzZjllZiZ1c2VyPTVmYjNhM2ZmZDZjODk1MDAwNzEwOTc3MiZhdXRob3I9NWZhYzExNDljZTRiMjIwMDA5YjFhNmVmJnVybD1odHRwcyUyNTNBJTI1MkYlMjUyRnBoaWxvc29waGVyYWkuY29tJTI1MkY="">Filozof AI’dan</a> geliyor. Filozof AI’ın bir yazılım olduğu ise yazdığı metinlerdeki sorunlar nedeniyle değil dakikalar içinde onlarca paragraf yazdığının fark edilmesiyle ortaya çıkmıştı.<ul><li>Nasıl çalışıyor? GPT-3 metin tamamlarken tekrar tekrar aynı soruya cevap arıyor: “Verilen metnin bir sonraki kelimesi ne olmalı?” Bu soruyu cevaplamayı ise kendisini eğiten veri setinden öğreniyor. Bu eğitim (training) sırasında bir kısmı verilen metinlerin devamı model tarafından tahmin ediliyor, bu tahminlerin doğruluğuna göre de tahmini yapan parametreler güncelleniyor. &nbsp;</li><li>Ayrıntılar: GPT-3’ün bu kadar başarılı çalışmasının en önemli nedeni ise eğitiminde kullanılan veri setinin 45 terabayt olan büyüklüğü. Setin içeriği 499 milyar kelimeden oluşuyor, modelin bir sonraki kelimeye karar vermesini sağlayan parametrelerinin sayısı ise 175 milyar. Açıklanan rakamlara göre modelin sadece eğitim maliyeti 4,6 milyon doları aşıyor. &nbsp;</li><li>Neden saldırgan? Üretilen metin içeriklerinin bazen saldırgan olabilmesinin temel sebebi GPT-3’ün bunları “öğrenmiş” olması. Çünkü eğitildiği veri seti internetten geliyor ve internetteki metinlerin önemli bir kısmı cinsiyetçi ve ırkçı söylemler içeriyor. &nbsp;</li><li>Çözüm arayışları: Yapay zekâ metin üreticilerinin saldırgan içeriklerden arındırılması için birçok çalışma yürütülüyor. Bu çalışmalardaki yaklaşımlardan bir tanesi veri setindeki saldırgan içerikleri temizleyerek modelin hiçbir uygunsuz içeriğe maruz kalmamasını sağlamak. Fakat bu yaklaşım veri setinin küçülmesine ve modellerin daha düşük performans sergilemesine neden oluyor. İkinci bir anlayış ise modellere bir “filtre” yerleştirmek. Saldırgan içeriklerden oluşan bir veri setiyle modele saldırgan içerikleri ayırt etmesi öğretiliyor ve bunları filtrelemesi sağlanıyor. Ancak bu filtreler de kalıcı ve etkili bir çözüm sağlamadığı için bu alandaki araştırmalar devam ediyor.</li></ul>

GPT-3 ile ilgili hikayeler