Summio

PDF

İhtiyacınız Olan Tek Şey Dikkat

Bu makale, tekrarlamayı dikkat mekanizmasıyla değiştirerek dizi modellemesinde devrim yaratan çığır açıcı bir sinir ağı mimarisi olan Transformer'ı tanıtmaktadır.

27 dk okuma

Mevcut diller

Özet önizlemesi

Transformer'ı Anlamak: Neden 'Attention Is All You Need' Her Şeyi Değiştirdi?

Selam millet! Son zamanlarda yapay zeka hakkında bolca şey duyuyorsunuz, değil mi? Yazabilen, kod yazabilen, çeviri yapabilen ve hatta sanat üretebilen modeller... İşte bu devrimin büyük bir kısmı, 2017'de yayınlanan ve 'Attention Is All You Need' adını taşıyan tek bir makaleye dayanıyor. Bu makale, Transformer adında yeni bir sinir ağı mimarisi tanıttı ve dürüst olmak gerekirse, yapay zekanın özellikle dil konusunda neler yapabileceğinin kapılarını ardına kadar araladı. Transformer'dan önce, makine çevirisi gibi sıralı görevler için kullanılan modeller genellikle Tekrarlayan Sinir Ağları'ydı (RNN'ler), bunların daha gelişmiş versiyonları olan LSTM'ler ve GRU'lar da dahil. RNN'leri, bir kitabı kelime kelime okuyup, mevcut kelimeyi anlamak için öncesinde gelen her şeyi hatırlamaya çalışan bir sistem gibi düşünebilirsiniz. Bu sıralı doğa sezgisel olsa da, büyük bir dezavantajı var: yavaş olması. Bütün kitabı aynı anda işleyemezsiniz; kelime kelime ilerlemeniz gerekir, bu da bu modelleri eğitmek için gerçek bir eziyet haline gelir ve ne kadar karmaşık olabileceklerini sınırlar. Google Brain, Google Research ve Toronto Üniversitesi'nden oluşan bir rüya takımının (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser ve Illia Polosukhin) kaleme aldığı bu makale, radikal bir fikir ortaya attı: Peki ya tekrarlamayı tamamen ortadan kaldırabilirsek ne olur? Peki ya bir model inşa edebilirsek, bu model cümlenin tüm kelimelerine aynı anda bakar ve her bir kelimeyi anlamak için hangilerinin en önemli olduğunu belirleyebilirse? İşte burada dikkat mekanizmaları devreye giriyor ve Transformer tamamen onlara dayanıyor. Bir cümleyi çevirdiğinizi hayal edin. Sadece hemen önceki kelimeye bakmak yerine, bir dikkat mekanizması modelin, mevcut çevirmeye çalıştığı kelimeyle ilgili kaynak cümledeki herhangi bir kelimeye doğrudan odaklanmasını sağlar. Bu, belirli bir görev için bir metnin en önemli kısımlarını vurgulamak gibidir. Transformer bu konsepti aşırıya taşıyor; verilen bir kelimeyi işlerken, modelin aynı cümledeki diğer tüm kelimelerin önemini tarttığı öz-dikkat (self-attention) adı verilen bir dikkat biçimi kullanıyor. Bu, uzun menzilli bağımlılıkları – bir paragrafın sonundaki bir zamirin, başındaki bir isme nasıl bağlandığını anlamak gibi – RNN'lerden çok daha etkili bir şekilde yakalamasını sağlar. Sonuç ne mi oldu? Transformer sadece çok daha fazla paralelleştirilebilir olmakla kalmadı (bu da GPU'lar gibi modern donanımlarda çok daha hızlı eğitilebileceği anlamına gelir), aynı zamanda makine çevirisinde en ileri düzey sonuçları elde etti, önceki rekorları önemli ölçüde geride bıraktı. Birkaç günlük eğitimle en iyi İngilizce-Almanca ve İngilizce-Fransızca çeviri puanlarına ulaştığından bahsediyoruz, bu daha önce çok daha uzun süren veya devasa model kümeleri gerektiren bir başarıydı. Ancak bu sadece çeviriyle ilgili değil. Makale ayrıca Transformer'ın İngilizce anlamsal ayrıştırma (constituency parsing) gibi

Eski Düzenin Sorunları: RNN'ler Neden Bizi Yavaşlatıyordu?

Transformer konusunda heyecanlanmadan önce, neden bu kadar büyük bir olay olduğunu anlamak süper önemli. Yıllarca, dil çevirisi, metin özetleme veya bir cümlenin bir sonraki kelimesini tahmin etme gibi sıralı modelleme görevlerinin kralları Tekrarlayan Sinir Ağları (RNN'ler) idi. LSTM'leri (Uzun Kısa Süreli Bellek) ve GRU'ları (Geçitli Tekrarlayan Birimler) düşünün. Oldukça iyilerdi ama temel bir sınırlamaları vardı: bilgiyi sıralı olarak işliyorlardı. Bir cümle düşünün: "Hızlı kahverengi tilki tembel köpeğin üzerinden atlar." Bir RNN bunu şöyle işlerdi: 1. "Hızlı" kelimesini okur, iç belleğini (gizli durumu) günceller. 2. "kahverengi" kelimesini okur, "Hızlı" ve "kahverengi"ye dayanarak belleğini günceller. 3. "tilki" kelimesini okur, önceki duruma ve "tilki"ye dayanarak belleğini günceller. 4. ...ve böylece "atlar" kelimesine kadar devam eder. Her adım, bir önceki adımın çıktısına bağlıdır. Bu bir zincirleme reaksiyon yaratır ve "atlar" kelimesinin anlamını bilmek istiyorsanız, RNN'nin "Hızlı kahverengi tilki" bilgisini başarılı bir şekilde işlemiş ve hatırlamış olması gerekir. Bu sıralı bağımlılık temel sorundur. Paralelleştirmeyi – girdinin birden fazla bölümünü aynı anda işlemeyi – zor, hatta imkansız hale getirir. Neden mi? Çünkü "tilki" için durumu hesaplamadan "atlar" için durumu hesaplayamazsınız ve bu da "kahverengi"yi yapmadan "tilki"yi yapamazsınız. Bu, eğitim için büyük bir darboğazdır. Derin öğrenme modellerini eğitmek, büyük miktarda hesaplama gerektirir ve bunu sıralı yapmak çağlar sürer. Eğer devasa bir veri setiniz ve karmaşık bir modeliniz varsa, tek bir eğitim çalıştırması için günler, haftalar veya aylar beklemeniz gerekebilir. Ayrıca, diziler uzadıkça, en baştan bilgiyi hatırlamak RNN'ler için giderek zorlaşır. Bilgi yolda seyreltilebilir veya kaybolabilir – korkulan "kaybolan gradyan" problemi, LSTM'ler ve GRU'lar bunu azaltmak için tasarlanmış olsalar da, tamamen ortadan kaldırmadılar. Şimdi, Konvolüsyonel Sinir Ağları (CNN'ler) gibi diğer mimariler, görüntü tanıma alanlarında paralel işlemenin gücünü zaten göstermişti. Dizilere CNN benzeri yapılar uygulama girişimleri yapıldı (ByteNet veya ConvS2S gibi) ve RNN'lerden daha fazla paralelleştirmeye izin verdiler. Ancak, genellikle kendi sorunları vardı. Bir cümledeki uzak kelimeler arasındaki bağımlılıkları yakalamak için, bu konvolüsyonel modellerin çok derin katmanlar veya çok büyük filtreler (çekirdekler) kullanması gerekiyordu. Bu, "yol uzunluğunun" – bilginin dizinin bir bölümünden diğerine seyahat etmesi için gereken adım sayısı – hala uzun olabileceği anlamına geliyordu, bu da uzun menzilli bağımlılıkların öğrenilmesini engelliyordu. Yani, Transformer'dan önceki durum temel olarak bir ödünleşmeydi: RNN'ler sıralı bağımlılıkları yakalamada iyiydi ama paralelleştirme ve hız açısından berbattı. CNN tabanlı yaklaşımlar daha fazla paralellik sundu ancak çok uzun menzilli bağımlılıklarla hesaplama açısından karmaşıklaşmadan veya derin katmanlar gerektirmeden mücadele

Transformer Sahneye Çıkıyor: Dikkatle İnşa Edilmiş Yeni Bir Umut

'Attention Is All You Need' makalesinin yazarları bu manzaraya baktılar ve sordular: İki dünyanın en iyisini elde edebilir miyiz? Dizideki mesafelerinden bağımsız olarak bağımlılıkları yakalayan (dikkat bunu vaat ediyor) ve yüksek derecede paralelleştirilebilir bir modelimiz olabilir mi? Cevapları güçlü bir evetti ve anahtar, tekrarlamayı ve konvolüsyonları tamamen terk etmek ve yalnızca dikkat mekanizmalarına güvenmekti.

Dikkat Tam Olarak Nedir?

Transformer'ın mimarisine dalmadan önce, dikkat konusunu bir anlayalım. Basitçe söylemek gerekirse, bir dikkat mekanizması, bir modelin belirli bir bilgi parçasını işlerken girdinin belirli bölümlerine odaklanmasını sağlar. Nasıl okuduğunuzu düşünün: "o" gibi bir kelimeyle karşılaştığınızda, beyniniz otomatik olarak "o"nun neye atıfta bulunduğunu anlamak için geriye bakar. Dikkat mekanizmaları bunu taklit etmeye çalışır. Sinir ağları bağlamında dikkat genellikle üç bileşeni içerir: Sorgular (Q): Odaklandığınız mevcut bilgi parçasını temsil eder (örn. çevirmeye çalıştığınız kelime). Anahtarlar (K): Dikkat etmek isteyebileceğiniz girdi dizisinde mevcut olan bilgiyi temsil eder. Değerler (V): Her Anahtarla ilişkilendirilen gerçek içeriği veya temsili temsil eder. Dikkat mekanizması, her bir Anahtarın Sorgu ile ne kadar eşleştiğini hesaplar. Bu eşleşme puanı (genellikle bir nokta çarpımı kullanılarak hesaplanır) daha sonra ağırlıklar oluşturmak için kullanılır. Bu ağırlıklar, ilgili Değerlerin ne kadarının nihai çıktıyı üretmek için birleştirileceğini belirler. Özünde, bu, mevcut bağlama (Sorgu) göre girdinin farklı bölümlerinin önemini dinamik olarak tartmanın bir yoludur.

Öz-Dikkat: Gösterinin Yıldızı

Transformer'ın oyun değiştiricisi öz-dikkat (self-attention). Geleneksel dikkatin aksine, burada farklı bir diziden dikkat çekebilirsiniz (hedef diziyi çözerken kaynak cümleye dikkat etmek gibi), öz-dikkat, o dizinin bir temsilini hesaplamak için tek bir dizinin farklı konumlarını ilişkilendirir. Daha basit bir ifadeyle, bir cümledeki her kelime için öz-dikkat, modelin o belirli kelimeyi anlamak için en alakalı olanların hangileri olduğunu belirlerken, aynı cümledeki diğer tüm kelimelere bakmasına izin verir. Geri dönelim: "Hızlı kahverengi tilki tembel köpeğin üzerinden atlar." Transformer "atlar" kelimesini işlerken, öz-dikkat "Hızlı", "kahverengi", "tilki", "üzerinden", "tembel" ve "köpeğin" kelimelerinin tümünü aynı anda dikkate almasına izin verir. Örneğin, tilkilerin zıplayan hayvanlar olduğu için "tilki"nin "atlar" kelimesiyle yüksek derecede ilgili olduğunu öğrenebilir. Ayrıca, zıplamanın nasıl gerçekleştiğini "köpeğin"e göre açıkladığı için "üzerinden" kelimesinin de ilgili olduğunu öğrenebilir. Herhangi iki kelime arasındaki, dizideki mesafelerinden bağımsız olarak doğrudan ilişki kurma yeteneği inanılmaz derecede güçlüdür. RNN'lerin sıralı darboğazını ve CNN'lerin katmanlı yol sınırlamalarını baypas eder.

Transformer Mimarisi: Bir Araya Getirmek

Transformer sadece tek bir dikkat katmanı değildir; bu dikkat mekanizmalarına dayanan dikkatlice tasarlanmış bir yapıdır. İki ana bölümden oluşur: bir Kodlayıcı (Encoder) ve bir Kod Çözücü (Decoder). Kodlayıcı: Girdi dizisini (örn. İngilizce cümle) işlemek ve onun zengin, bağlam farkındalığı olan bir temsilini oluşturmakla görevlidir. Derinlemesine okuyup anlamak gibidir. Kod Çözücü: Kodlayıcının temsilini almak ve çıktı dizisini (örn. Fransızca çeviri) tek seferde oluşturmakla görevlidir. Hem kodlayıcı hem de kodlayıcı, özdeş katman yığınlarından oluşur. Orijinal makale her ikisi için de N=6 katman kullandı. Bir Kodlayıcı Katmanının İçinde: Her kodlayıcı katmanı iki ana alt katmana sahiptir: 1. Çok Başlı Öz-Dikkat (Multi-Head Self-Attention): Sihrin gerçekleştiği yer burasıdır. Kodlayıcıdaki her konuma, kodlayıcının önceki katmanındaki tüm konumlara dikkat etmesine izin verir. 2. Konum Bazlı İleri Beslemeli Ağ (Position-wise Feed-Forward Network): Her konuma bağımsız olarak uygulanan basit, tam bağlı bir ileri beslemeli ağ. Önemle, her alt katmanın çıktısı artık bağlantılardan (alt katmanın girdisinin çıktısına eklenmesi) ve ardından katman normalleştirmeden geçer. Bu teknikler, eğitimi stabilize etmek ve ağın daha derin gitmesine izin vermek için hayati öneme sahiptir. Bir Kod Çözücü Katmanının İçinde: Her kod çözücü katmanı üç ana alt katmana sahiptir: 1. Maskelenmiş Çok Başlı Öz-Dikkat (Masked Multi-Head Self-Attention): Kodlayıcının öz-dikkatine benzer, ancak önemli bir farkla: "maskelenmiş"tir. Bu maske, konumların sonraki konumlara dikkat etmesini engeller. Neden mi? Çünkü bir çeviri oluştururken, yalnızca zaten oluşturduğunuz kelimeleri kullanabilirsiniz, hedef cümledeki sonraki kelimeleri değil (bu otoregresif özellik olarak adlandırılır). 2. Çok Başlı Kodlayıcı-Kod Çözücü Dikkat (Multi-Head Encoder-Decoder Attention): Kod çözücünün kodlayıcının çıktısıyla etkileşimde bulunduğu yer burasıdır. Sorgular önceki kod çözücü katmanından gelirken, Anahtarlar ve Değerler kodlayıcı yığınının çıktısından gelir. Bu, kod çözücüdeki her konuma girdi dizisindeki tüm konumlara dikkat etmesine izin verir, mevcut hedef kelimeyi oluşturmak için kaynak cümlenin hangi bölümlerinin en alakalı olduğunu belirler. 3. Konum Bazlı İleri Beslemeli Ağ: Kodlayıcıdaki gibi. Yine, her alt katmanın etrafında artık bağlantılar ve katman normalleştirme kullanılır. Tekrarlamayı gerektirmeyen bu dikkat mekanizmalarına ve ileri beslemeli ağlara dayanan bu mimari, temel yenilikti. RNN'lerdeki sıralı işleme ihtiyacını tamamen ortadan kaldırdı.