Özet önizlemesi
GPT-3: Yapay Zekada Öğrenmenin Yeni Yolu (Biraz da Öyle!)
Selam millet! Duydunuz mu GPT-3'ü? OpenAI'nin geliştirdiği bu devasa yapay zeka modeli, sektörde resmen ortalığı kasıp kavuruyor. Yapay zekayı her yeni şey için saatlerce eğiten, tonlarca veri isteyen o eski yöntemleri unutun gitsin. GPT-3, 'few-shot learning' (birkaç örnekle öğrenme) denen bir yöntemle adeta 'anında öğreniyor'. Düşünsenize, bir arkadaşınıza yeni bir oyunun sadece bir iki örneğini gösteriyorsunuz ve anında kapıyor! İşte GPT-3 de bu mantıkla çalışıyor, ama yapay zeka için! Bu makale, OpenAI'deki bir sürü parlak zihin (ve biraz da Johns Hopkins Üniversitesi yardımıyla) tarafından kaleme alınmış. GPT-3'ün nasıl çalıştığını ve neler yapabildiğini derinlemesine inceliyor. Hadi gelin, bu teknoloji harikasının sırlarına birlikte dalalım!
Eskiden Nasıldı, Şimdi Nasıl? GPT-3 Neden Önemli?
GPT-3'ten önce, yapay zekayı dil çevirisi veya soru cevaplama gibi belirli görevlere yönlendirmenin en yaygın yolu 'ön eğitim' (pre-training) yapıp ardından 'ince ayar' (fine-tuning) dediğimiz işlemi uygulamaktı. Önce modeli internetteki devasa metin yığınları üzerinde eğitiyorsunuz, sonra da yapmak istediğiniz işe özel daha küçük ama yine de epey büyük bir veri setiyle ince ayar yapıyorsunuz. Bunu, genel bir lisans derecesi almak için üniversiteye gitmek, sonra da o alanda uzmanlaşmak için yüksek lisans yapmak gibi düşünebilirsiniz. Bu yöntem işe yarıyor ama birkaç büyük dezavantajı var: 1. Aç Gözlü Veri İhtiyacı: İnce ayar aşaması için binlerce, hatta yüz binlerce örnek veri gerekiyor. Eğer özel göreviniz için yeterli veri yoksa (belki de çok niş bir alandır?), maalesef eli boş kalıyorsunuz. 2. Aşırı Uyum (Overfitting) Riski: Bazen, dar bir veri setine çok fazla ince ayar yaptığınızda, yapay zeka sadece o belirli veride çok iyi oluyor ama biraz farklı örneklerde feci şekilde çuvallıyor. Bu, konuyu gerçekten anlamak yerine testteki cevapları ezberlemek gibi bir şey. 3. İnsana Pek Benzemezi: İnsanlar yeni şeyleri hızla öğrenme konusunda inanılmazlar. Yeni bir hayvanın birkaç resmini gördüğümüzde, onu daha sonra genellikle tanıyabiliriz. Bunun için binlerce resme bakıp sıkı bir eğitim programından geçmemiz gerekmiyor! İşte GPT-3 ve 'bağlam içi öğrenme' (in-context learning) konsepti tam da burada devreye giriyor. Fikir şu ki, eğer bir model yeterince büyükse ve yeterince çeşitli verilerle eğitilmişse, bir tür meta-öğrenme yeteneği geliştirebilir. Yani, nasıl öğreneceğini öğrenir. Modelin aktif olduğu zamanlarda (yani onu kullandığınızda), ağırlıklarını güncellemiyorsunuz veya yeniden eğitmiyorsunuz. Bunun yerine, sadece görevin tanımını ve belki birkaç örneği, metin komutunun (prompt) içine yerleştiriyorsunuz. İşte 'few-shot' (veya 'one-shot' ya da 'zero-shot') öğrenme kısmı bu.
Tanışın: 175 Milyar Parametreli Dev GPT-3
Peki, GPT-3 tam olarak nedir? Bu, bir 'otoregresif dil modeli'. Basitçe söylemek gerekirse, bir dizideki bir sonraki kelimeyi, önceki tüm kelimelere dayanarak tahmin ediyor. Süper güçlü bir otomatik tamamlama gibi düşünün. '175 milyar parametre' kısmı ise olayın kilit noktası. Bu akıl almaz bir sayı! Modelin, devasa eğitim aşamasında ayarlanmış 175 milyar tane ayarlanabilir düğmesi (parametre) olduğu anlamına geliyor. Karşılaştırma yapmak gerekirse, önceki nesil GPT-2'nin yaklaşık 1.5 milyar parametresi vardı. GPT-3, tam 100 kat daha büyük! Bu muazzam ölçek, onun birkaç örnekle öğrenme yeteneklerini mümkün kılıyor. Araştırmacılar GPT-3'ü inanılmaz geniş bir görev yelpazesinde test ettiler ve sonuçlar oldukça etkileyiciydi. Sadece iyi değildi; çoğu zaman, o görev için özel olarak ince ayar yapılmış en iyi modellerle rekabet edebiliyordu, hatta bazen daha iyiydi. Ve bunu, komut satırında verdiğiniz örneklere bakarak, herhangi bir gradyan güncellemesi yapmadan başardı. Modeli kullanmanın üç ana yolunu incelediler: Sıfır Örnek (Zero-Shot): Modele sadece bir talimat veriyorsunuz, örneğin, "İngilizce'den Fransızca'ya çevir: peynir => ". Hiç örnek gerekmiyor. Tek Örnek (One-Shot): Talimatı ve bir örneği veriyorsunuz: "İngilizce'den Fransızca'ya çevir: deniz samuru => loutre de mer. peynir => ". Birkaç Örnek (Few-Shot): Talimatı ve birkaç örneği veriyorsunuz (GPT-3'ün bağlam penceresi limiti olan 2048 token'a kadar): "İngilizce'den Fransızca'ya çevir: deniz samuru => loutre de mer. nane => menthe poivrée. peynir => ". Ve tahmin edin ne oldu? Ne kadar çok örnek verirseniz (belirli bir noktaya kadar), performansı o kadar artıyordu! Sanki model "Aaa, anladım! İşler böyle yapılıyormuş!" diyordu. Bu ölçeklenme faydası çok büyük bir bulguydu.
GPT-3 Gerçekten Neler Yapabiliyor?
Bu makale, temel dil modellemeden karmaşık akıl yürütmeye ve hatta yaratıcı yazmaya kadar her şeyi ele alan sonuçlarla dolu. Öne çıkanlardan bazılarına bakalım:
Dil Modelleme ve Metin Tamamlama: Temel İşlevler
En temelinde, GPT-3 bir dil modelidir. Bir sonraki kelimeyi tahmin eder. Eğer bu konuda gerçekten, gerçekten iyiyse, başka birçok şeyi de yapabilir. GPT-3, Penn Treebank (PTB) gibi standart dil modelleme kıyaslamalarında en üst düzey sonuçları elde etti; yani metin dizilerini tahmin etmede en iyisiydi. Ayrıca, bir metnin son kelimesini tahmin etmeyi gerektiren ve uzun menzilli bağlamı iyi kavradığını gösteren LAMBADA gibi görevlerde de tam not aldı. Hatta zorlu sağduyu çıkarım görevi olan HellaSwag ve bir hikayenin sonunu tahmin etmeyi içeren StoryCloze'da da harika işler çıkardı.
Soru Cevaplama: Yürüyen Bir Ansiklopedi Gibi (Küçük Bir Farkla)
Özel bir Soru-Cevap veri setinde ince ayar yapmaya gerek kalmadan bir yapay zekaya sorular sorduğunuzu hayal edin. GPT-3 tam da bunu yaptı. Natural Questions, WebQuestions ve TriviaQA gibi veri setlerinde, 'kapalı kitap' modunda (yani modelin sadece önceden eğitilmiş bilgisini kullandığı durumda), birkaç örnekle performansı en iyi ince ayarlanmış modellere inanılmaz derecede yakındı. Hatta bu veri setlerinden birinde en üst düzey performansı elde etti. Sanki kafasında devasa bir kütüphane var ve sorunuza ve verdiğiniz birkaç örneğe göre ilgili bilgiyi hızla bulabiliyor.
