Summio

PDF

Perhatian Adalah Segalanya

Makalah ini memperkenalkan Transformer, sebuah arsitektur jaringan saraf yang revolusioner yang meninggalkan rekurensi demi perhatian, merevolusi pemodelan sekuensial.

27 mnt baca

Tersedia dalam

Pratinjau ringkasan

Mengupas Tuntas Transformer: Kenapa 'Attention Is All You Need' Mengubah Segalanya

Halo semuanya! Pasti sering banget denger soal AI belakangan ini, kan? Model yang bisa nulis, ngoding, terjemahin, bahkan bikin karya seni. Nah, sebagian besar revolusi keren ini berakar dari satu paper yang terbit tahun 2017, judulnya 'Attention Is All You Need'. Paper ini ngenalin arsitektur jaringan saraf baru yang namanya Transformer, dan jujur aja, ini bener-bener membuka pintu lebar-lebar buat kemampuan AI, terutama buat ngolah bahasa. Sebelum Transformer, model andalan buat tugas-tugas berurutan kayak terjemahan mesin itu adalah Recurrent Neural Networks (RNN), termasuk sepupunya yang lebih canggih, LSTM dan GRU. Bayangin aja RNN itu kayak kita baca buku, satu kata demi satu kata, sambil berusaha nginget semua yang udah dibaca sebelumnya biar ngerti kata yang lagi dibaca sekarang. Cara kerjanya yang berurutan ini memang intuitif, tapi punya kelemahan gede: lambat banget! Kamu nggak bisa baca seluruh buku sekaligus; harus satu per satu. Ini bikin proses training model jadi lama banget dan membatasi seberapa kompleks modelnya bisa jadi. Paper ini, ditulis sama tim impian dari Google Brain, Google Research, dan University of Toronto (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, dan Illia Polosukhin), ngajuin ide radikal: gimana kalau kita singkirin aja tuh 'recurrence' (sifat berurutan)? Gimana kalau kita bikin model yang bisa ngeliat semua kata dalam kalimat sekaligus dan nyari tau mana aja yang paling penting buat ngertiin tiap kata? Di sinilah mekanisme perhatian (attention mechanisms) masuk, dan Transformer itu dibangun sepenuhnya pakai konsep ini. Coba bayangin lagi kamu lagi nerjemahin kalimat. Daripada cuma ngeliat kata sebelumnya, mekanisme perhatian itu ngasih izin ke model buat langsung fokus ke kata mana aja di kalimat sumber yang relevan sama kata yang lagi mau diterjemahin. Kayak ngasih stabilo ke bagian-bagian penting teks buat tugas tertentu. Nah, Transformer ini bawa konsepnya ke level ekstrem, pakai bentuk perhatian yang namanya self-attention. Di sini, model ngasih bobot seberapa pentingnya kata-kata lain dalam kalimat yang sama pas lagi ngolah satu kata tertentu. Ini bikin model bisa nangkap ketergantungan jarak jauh – kayak gimana kata ganti ('dia') di akhir paragraf nyambung sama kata benda ('kucing') di awal – jauh lebih efektif dibanding RNN. Hasilnya? Transformer nggak cuma jauh lebih bisa diparalelkan (artinya, bisa dilatih jauh lebih cepat pakai hardware modern kayak GPU), tapi juga ngasih hasil state-of-the-art di terjemahan mesin, ngalahin rekor sebelumnya secara signifikan. Kita ngomongin skor terjemahan Inggris-ke-Jerman dan Inggris-ke-Prancis kelas atas cuma dalam beberapa hari pelatihan, sesuatu yang dulunya butuh waktu lebih lama atau butuh banyak model gabungan (ensemble). Ini bukan cuma soal terjemahan, lho. Paper ini juga nunjukin gimana Transformer bisa digeneralisasi ke tugas lain kayak English constituency parsing (analisis struktur tata bahasa

Masalah dengan 'Sang Penguasa Lama': Kenapa RNN Bikin Kita Melambat

Sebelum kita terlalu semangat sama Transformer, penting banget buat ngerti kenapa dia jadi begitu penting. Bertahun-tahun lamanya, raja model sequence modeling – tugas kayak nerjemahin bahasa, ngerangkum teks, atau bahkan nebak kata selanjutnya dalam kalimat – adalah Recurrent Neural Networks (RNN). Anggap aja kayak LSTM (Long Short-Term Memory) dan GRU (Gated Recurrent Units). Mereka lumayan bagus, tapi punya keterbatasan fundamental: mereka ngolah informasi secara sekuensial (berurutan). Coba bayangin kalimat: 'Kucing coklat lincah melompati anjing malas.' RNN bakal ngolahnya gini: 1. Baca 'Kucing', update memori internalnya (hidden state). 2. Baca 'coklat', update memori berdasarkan 'Kucing' dan 'coklat'. 3. Baca 'lincah', update memori berdasarkan state sebelumnya dan 'lincah'. 4. ...dan seterusnya, sampai 'malas'. Setiap langkah bergantung pada hasil langkah sebelumnya. Ini menciptakan reaksi berantai, dan kalau kamu mau tau arti 'melompati', RNN harus berhasil memproses dan mengingat informasi dari 'Kucing coklat lincah' dengan benar. Ketergantungan sekuensial ini adalah masalah intinya. Ini bikin parallelization – ngolah banyak bagian input sekaligus – jadi susah, bahkan mustahil. Kenapa? Karena kamu nggak bisa ngitung state buat 'melompati' sebelum kamu ngitung state buat 'lincah', dan kamu nggak bisa ngitung itu sebelum 'coklat', dan seterusnya. Ini jadi hambatan besar buat training. Melatih model deep learning butuh komputasi masif, dan ngelakuinnya secara sekuensial butuh waktu berhari-hari. Kalau kamu punya dataset gede dan model kompleks, kamu bisa nunggu berhari-hari, berminggu-minggu, atau bahkan berbulan-bulan buat satu kali training run. Ditambah lagi, makin panjang urutannya, makin susah buat RNN nginget informasi dari awal. Informasi bisa aja luntur atau hilang di jalan – masalah 'vanishing gradient' yang terkenal itu. Meskipun LSTM dan GRU dirancang buat ngurangin ini, mereka nggak ngilangin sepenuhnya. Sekarang, arsitektur lain kayak Convolutional Neural Networks (CNN) udah nunjukin kekuatan pemrosesan paralel di area kayak pengenalan gambar. Ada beberapa percobaan buat nerapin struktur mirip CNN ke urutan (kayak ByteNet atau ConvS2S), dan mereka memang ngasih lebih banyak paralelisme dibanding RNN. Tapi, mereka sering punya masalah sendiri. Buat nangkap hubungan antar kata yang letaknya berjauhan dalam kalimat, model konvolusional ini butuh tumpukan layer yang dalam atau filter (kernel) yang gede banget. Artinya, 'panjang jalur' – jumlah langkah yang dibutuhkan informasi buat jalan dari satu bagian urutan ke bagian lain – masih bisa cukup gede, menghambat pembelajaran hubungan jarak jauh. Jadi, situasinya sebelum Transformer itu basically kayak kompromi: RNN bagus buat nangkap ketergantungan sekuensial tapi jelek buat paralelisme dan kecepatan. Pendekatan berbasis CNN ngasih lebih banyak paralelisme tapi kesulitan sama ketergantungan jarak jauh banget tanpa jadi kompleks secara komputasi atau butuh tumpukan layer yang dalam.

Hadirlah Transformer: Harapan Baru yang Dibangun di Atas Perhatian

Penulis 'Attention Is All You Need' ngeliat lanskap ini dan bertanya: Bisakah kita dapetin keunggulan dari keduanya? Bisakah kita punya model yang nangkap ketergantungan tanpa peduli jaraknya di urutan (kayak yang dijanjikan perhatian) dan sangat bisa diparalelkan? Jawaban mereka adalah iya banget, dan kuncinya adalah nyingkirin recurrence dan convolution sepenuhnya dan cuma ngandelin mekanisme perhatian.

Apa Sih Sebenarnya Perhatian Itu?

Sebelum kita masuk ke arsitektur Transformer, yuk kita pahamin dulu apa itu perhatian. Sederhananya, mekanisme perhatian itu ngasih izin ke model buat fokus ke bagian-bagian spesifik dari input pas lagi ngolah satu informasi tertentu. Coba pikirin cara kamu baca: pas nemu kata kayak 'itu', otak kamu otomatis ngeliat ke belakang buat nyari tau 'itu' merujuk ke apa. Mekanisme perhatian itu nyoba niru ini. Dalam konteks jaringan saraf, perhatian biasanya melibatkan tiga komponen: Queries (Q): Merepresentasikan informasi saat ini yang lagi kamu fokusin (misalnya, kata yang lagi mau diterjemahin). Keys (K): Merepresentasikan informasi yang tersedia di urutan input yang mungkin mau kamu perhatiin. Values (V): Merepresentasikan konten atau representasi sebenarnya yang terkait sama tiap Key. Mekanisme perhatian ngitung seberapa cocok tiap Key sama Query. Skor kecocokan ini (sering dihitung pakai dot product) kemudian dipake buat bikin bobot. Bobot ini nentuin seberapa banyak dari tiap Value yang sesuai bakal digabungin buat ngasilin output akhir. Intinya, ini cara dinamis buat ngasih bobot seberapa penting bagian-bagian input yang berbeda berdasarkan konteks saat ini (Query).

Self-Attention: Bintang Utamanya

Pengubah permainan Transformer adalah self-attention. Berbeda sama perhatian tradisional di mana kamu mungkin perhatian ke urutan yang berbeda (kayak perhatian ke kalimat sumber pas lagi dekode kalimat target), self-attention itu nyambungin posisi-posisi yang berbeda dari satu urutan yang sama buat ngitung representasi urutan itu. Sederhananya, buat tiap kata dalam kalimat, self-attention ngasih izin ke model buat ngeliat semua kata lain dalam kalimat yang sama dan nentuin mana aja yang paling relevan buat ngertiin kata spesifik itu. Balik lagi ke 'Kucing coklat lincah melompati anjing malas.' Pas Transformer ngolah kata 'melompati', self-attention ngasih izin buat ngeliat 'Kucing', 'coklat', 'lincah', 'anjing', 'malas' secara bersamaan. Model bisa belajar, misalnya, bahwa 'Kucing' itu relevan banget sama 'melompati' karena kucing itu hewan yang suka melompat. Model juga bisa belajar bahwa 'lincah' itu relevan karena ngedeskripsiin gimana lompatannya terjadi. Kemampuan buat langsung modelin hubungan antar dua kata apa pun dalam urutan, nggak peduli jaraknya, itu luar biasa kuat. Ini nglewatin hambatan sekuensial RNN dan keterbatasan jalur berlapis CNN.

Arsitektur Transformer: Menyusun Semuanya

Transformer itu bukan cuma satu layer self-attention; ini adalah arsitektur yang dirancang dengan hati-hati yang dibangun di atas mekanisme perhatian ini. Ini terdiri dari dua bagian utama: Encoder dan Decoder. Encoder: Tugasnya ngolah urutan input (misalnya, kalimat Inggris) dan ngasilin representasi yang kaya dan sadar konteks. Ini kayak membaca dan memahami kalimat sumber secara mendalam. Decoder: Tugasnya ngambil representasi dari encoder dan ngasilin urutan output (misalnya, terjemahan Prancis), satu elemen pada satu waktu. Ini kayak nulis hasil terjemahannya. Baik encoder maupun decoder terdiri dari tumpukan layer yang identik. Paper aslinya pake N=6 layer buat keduanya. Di Dalam Layer Encoder: Setiap layer encoder punya dua sub-layer utama: 1. Multi-Head Self-Attention: Di sinilah keajaibannya terjadi. Ini ngasih izin tiap posisi di encoder buat merhatiin semua posisi di layer sebelumnya di encoder. 2. Position-wise Feed-Forward Network: Jaringan feed-forward yang simpel, terhubung penuh, diterapkan secara independen ke tiap posisi. Penting banget, output dari tiap sub-layer dilewatin lewat koneksi residual (nambahin input sub-layer ke outputnya) diikuti sama layer normalization. Teknik-teknik ini vital buat stabilin training dan ngasih izin jaringan jadi lebih dalam. Di Dalam Layer Decoder: Setiap layer decoder punya tiga sub-layer utama: 1. Masked Multi-Head Self-Attention: Mirip sama self-attention encoder, tapi dengan perbedaan penting: ini 'masked' (ditutupin). Mask ini ngecegah posisi buat merhatiin posisi setelahnya. Kenapa? Karena pas lagi bikin terjemahan, kamu cuma bisa pake kata-kata yang udah kamu hasilin, bukan kata-kata yang muncul setelahnya di kalimat target (ini disebut sifat auto-regressive). 2. Multi-Head Encoder-Decoder Attention: Di sinilah decoder berinteraksi sama output encoder. Queries datang dari layer decoder sebelumnya, sementara Keys dan Values datang dari output tumpukan encoder. Ini ngasih izin tiap posisi di decoder buat merhatiin semua posisi di urutan input, nyari tau bagian mana dari kalimat sumber yang paling relevan buat ngasilin kata target saat ini. 3. Position-wise Feed-Forward Network: Sama kayak di encoder. Lagi-lagi, koneksi residual dan layer normalization dipake di sekitar tiap sub-layer. Arsitektur ini, yang cuma ngandelin mekanisme perhatian dan jaringan feed-forward ini, adalah inovasi inti. Ini bener-bener ngilangin kebutuhan pemrosesan sekuensial yang inheren di RNN.