Summio

PDF

Perhatian Itu Sahaja Yang Diperlukan

Keperluan Bahasa Kritikal: - Keseluruhan output MESTILAH ditulis dalam Bahasa Melayu. - JANGAN kembalikan teks sumber tanpa perubahan. - JANGAN tinggalkan ayat Bahasa Inggeris dalam output kecuali ia adalah nama khas, nama produk, akronim, atau tajuk buku yang dipetik. - Kekalkan makna, nada, format, markdown, dan struktur. - Jadikan hasil tersebut kedengaran asli dan semula jadi dalam Bahasa Melayu, seolah-olah ditulis asalnya dalam bahasa tersebut. - Kembalikan HANYA teks Bahasa Melayu yang ditulis semula, tanpa penjelasan. Kandungan: Kertas ini memperkenalkan Transformer, sebuah seni bina

27 min bacaan

Tersedia dalam

Pratonton ringkasan

Membongkar Transformer: Kenapa 'Attention Is All You Need' Mengubah Segalanya

Hai semua! Korang mesti dah banyak dengar pasal AI kan lately? Model yang boleh tulis esei, cipta kod, terjemah bahasa, siap boleh buat seni lagi. Nah, separuh daripada revolusi gempak ni sebenarnya berpunca daripada satu kertas kajian yang keluar tahun 2017, tajuknya 'Attention Is All You Need'. Kertas ni kenalkan satu jenis baru arkitektur neural network yang dipanggil Transformer, dan serius cakap, ia macam buka pintu besar untuk apa yang AI boleh buat, terutamanya dengan bahasa. Sebelum Transformer wujud, model yang paling popular untuk tugasan jujukan (sequence tasks) macam terjemahan mesin adalah Recurrent Neural Networks (RNNs), termasuklah adik-beradik dia yang lagi canggih sikit, LSTM dan GRU. Bayangkan RNN ni macam korang baca buku satu perkataan demi satu perkataan, cuba ingat semua yang dah baca sebelum tu untuk faham perkataan sekarang. Cara ni nampak logik tapi ada satu kelemahan besar: ia lambat gila. Korang tak boleh proses keseluruhan buku sekaligus; kena baca perkataan demi perkataan, yang buat 'training' model ni jadi macam seksa dan limitkan betapa kompleks pun model tu boleh jadi. Kertas ni, ditulis oleh sekumpulan 'dream team' dari Google Brain, Google Research, dan University of Toronto (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, dan Illia Polosukhin), cadangkan satu idea radikal: macam mana kalau kita buang terus sifat jujukan tu? Macam mana kalau kita bina model yang boleh tengok semua perkataan dalam ayat serentak dan tentukan perkataan mana yang paling penting untuk faham setiap perkataan individu? Di sinilah mekanisme perhatian (attention mechanisms) masuk, dan Transformer ni dibina sepenuhnya atas dasar ni. Cuba bayangkan korang tengah terjemah ayat. Daripada cuma tengok perkataan yang sebelumnya je, mekanisme perhatian ni bagi peluang kat model untuk terus fokus pada mana-mana perkataan dalam ayat sumber yang relevan dengan perkataan yang dia tengah cuba terjemah tu. Macam korang highlight bahagian paling penting dalam teks untuk tugasan tertentu. Transformer ni bawak konsep ni ke tahap ekstrem, guna satu jenis perhatian yang dipanggil 'self-attention' di mana model tu timbang kepentingan semua perkataan lain dalam ayat yang sama bila dia proses satu perkataan tertentu. Ini membolehkan ia tangkap ketergantungan jarak jauh – macam faham macam mana kata ganti nama kat hujung perenggan tu berkaitan dengan kata nama kat awal perenggan – dengan lebih berkesan daripada RNN. Kesudahannya? Transformer ni bukan je lagi 'parallelizable' (maksudnya boleh dilatih lagi laju gila pakai 'hardware' moden macam GPU) tapi ia juga capai keputusan 'state-of-the-art' dalam terjemahan mesin, kalah rekod-rekod lama dengan margin yang signifikan. Kita cakap pasal capai skor teratas Inggeris-ke-Jerman dan Inggeris-ke-Perancis dalam masa beberapa hari je 'training', satu pencapaian yang sebelum ni ambil masa lebih lama atau perlukan 'ensemble' model yang besar. Ini bukan pasal

Masalah Dengan 'The Old Guard': Kenapa RNN Melambatkan Kita

Sebelum kita terlalu 'excited' pasal Transformer, penting sangat untuk faham kenapa ia jadi satu benda yang besar. Selama bertahun-tahun, raja-raja pemodelan jujukan – tugasan macam terjemah bahasa, ringkaskan teks, atau ramal perkataan seterusnya dalam ayat – adalah Recurrent Neural Networks (RNNs). Ingat lagi LSTM (Long Short-Term Memory) dan GRU (Gated Recurrent Units)? Dulu okay je, tapi ada satu limitasi asas: ia proses maklumat secara jujukan. Bayangkan korang ada ayat: "The quick brown fox jumps over the lazy dog." Satu RNN akan proses macam ni: 1. Baca "The", kemaskini memori dalaman dia (hidden state). 2. Baca "quick", kemaskini memori berdasarkan "The" dan "quick". 3. Baca "brown", kemaskini memori berdasarkan 'state' sebelum tu dan "brown". 4. ...dan seterusnya, sampai "dog". Setiap langkah bergantung pada output langkah sebelumnya. Ini macam rantaian yang tak boleh putus, dan kalau korang nak tahu maksud "jumps", RNN tu kena dah berjaya proses dan ingat maklumat daripada "The quick brown fox" dengan betul. Ketergantungan jujukan ni la isu utamanya. Ia buat 'parallelization' – proses beberapa bahagian input serentak – jadi sangat susah, kalau bukan mustahil. Kenapa? Sebab korang tak boleh kira 'state' untuk "jumps" selagi tak kira 'state' untuk "fox", dan tak boleh buat tu selagi tak buat "brown", dan macam tulah. Ini la satu 'bottleneck' besar untuk 'training'. 'Training' model 'deep learning' perlukan pengiraan yang banyak gila, dan buat secara jujukan ambil masa berabad-abad. Kalau korang ada 'dataset' besar dan model kompleks, korang boleh tunggu berhari-hari, berminggu-minggu, atau berbulan-bulan untuk satu sesi 'training' je. Tambahan pula, bila jujukan makin panjang, ingat maklumat dari awal tu makin jadi susah untuk RNN. Maklumat boleh jadi cair atau hilang kat tengah jalan – masalah 'vanishing gradient' yang ditakuti tu, walaupun LSTM dan GRU direka untuk kurangkan ni, tapi tak hapuskan terus. Sekarang, arkitektur lain macam Convolutional Neural Networks (CNNs) dah pun tunjuk kuasa 'parallel processing' dalam bidang macam pengecaman imej. Ada jugak percubaan nak guna struktur macam CNN untuk jujukan (macam ByteNet atau ConvS2S), dan ia memang bagi lebih banyak 'parallelization' daripada RNN. Tapi, ia selalu ada isu sendiri. Untuk tangkap ketergantungan antara perkataan yang jauh dalam ayat, model konvolusional ni perlukan timbunan 'layer' yang sangat dalam atau 'filter' (kernel) yang sangat besar. Ini bermakna 'path length' – bilangan langkah yang diambil untuk maklumat bergerak dari satu bahagian jujukan ke bahagian lain – masih boleh jadi agak besar, menghalang pembelajaran ketergantungan jarak jauh. Jadi, situasi sebelum Transformer ni macam ni: RNN bagus tangkap ketergantungan jujukan tapi teruk untuk 'parallelization' dan kelajuan. Pendekatan berasaskan CNN bagi lebih banyak 'parallelism' tapi ada masalah dengan ketergantungan jarak jauh yang sangat panjang tanpa jadi kompleks secara pengiraan atau perlukan timbunan

Masuk Transformer: Harapan Baru Dibina Atas 'Attention'

Penulis 'Attention Is All You Need' tengok landskap ni dan tanya: Boleh tak kita dapat yang terbaik dari kedua-dua dunia? Boleh tak kita ada model yang tangkap ketergantungan tak kira jaraknya dalam jujukan (macam yang 'attention' janjikan) dan sangat 'parallelizable'? Jawapan diorang adalah ya, dan kuncinya adalah buang terus 'recurrence' dan 'convolution' sepenuhnya dan hanya bergantung pada mekanisme perhatian (attention mechanisms).

Apa Sebenarnya 'Attention' Tu?

Sebelum kita terjun ke arkitektur Transformer, jom faham dulu apa tu 'attention'. Senang cakap, mekanisme 'attention' ni bagi peluang kat model untuk fokus pada bahagian input tertentu bila dia proses satu maklumat. Ingat tak macam mana korang baca: bila jumpa perkataan macam "ia", otak korang automatik pandang ke belakang untuk cari apa yang "ia" rujuk. Mekanisme 'attention' cuba tiru benda ni. Dalam konteks 'neural networks', 'attention' biasanya libatkan tiga komponen: Queries (Q): Mewakili maklumat semasa yang korang fokus (contohnya, perkataan yang korang nak terjemah). Keys (K): Mewakili maklumat yang ada dalam jujukan input yang korang mungkin nak beri perhatian. Values (V): Mewakili kandungan sebenar atau representasi yang berkaitan dengan setiap Key. Mekanisme 'attention' kira macam mana setiap Key tu 'match' dengan Query. Skor 'match' ni (selalunya dikira guna 'dot product') kemudian digunakan untuk buat 'weights'. 'Weights' ni tentukan berapa banyak setiap Value yang berkaitan akan digabungkan untuk hasilkan output akhir. Secara asasnya, ia adalah cara untuk timbang secara dinamik kepentingan bahagian input yang berbeza berdasarkan konteks semasa (Query).

'Self-Attention': Bintang Utama

Perkara yang mengubah permainan Transformer ni adalah 'self-attention'. Berbeza dengan 'attention' tradisional di mana korang mungkin beri perhatian pada jujukan yang berbeza (macam beri perhatian pada ayat sumber masa 'decode' ayat sasaran), 'self-attention' ni kaitkan kedudukan yang berbeza dalam satu jujukan yang sama untuk kira satu representasi jujukan tu. Nak cakap lagi senang, untuk setiap perkataan dalam ayat, 'self-attention' bagi peluang kat model untuk tengok semua perkataan lain dalam ayat yang sama dan tentukan mana yang paling relevan untuk faham perkataan spesifik tu. Jom kita balik ke "The quick brown fox jumps over the lazy dog." Bila Transformer proses perkataan "jumps", 'self-attention' bagi peluang kat ia untuk pertimbangkan "The", "quick", "brown", "fox", "over", "the", "lazy", dan "dog" serentak. Ia boleh belajar, contohnya, yang "fox" sangat relevan dengan "jumps" sebab musang ni haiwan yang melompat. Ia jugak boleh belajar "over" tu relevan sebab ia terangkan macam mana lompatan tu berlaku berbanding "dog". Keupayaan untuk terus modelkan hubungan antara mana-mana dua perkataan dalam jujukan, tak kira jaraknya, ni sangat kuat. Ia pintas 'bottleneck' jujukan RNN dan limitasi 'layer' CNN. Ia macam buat semua sambungan terus, tak perlu tunggu.

Arkitektur Transformer: Gabungkan Semuanya

Transformer ni bukan je satu 'layer self-attention'; ia adalah arkitektur yang direka dengan teliti atas dasar mekanisme 'attention' ni. Ia ada dua bahagian utama: Encoder dan Decoder. Encoder: Tugasnya adalah proses jujukan input (contohnya, ayat Inggeris) dan hasilkan satu representasi yang kaya dan sedar konteks. Ia macam membaca dan faham ayat sumber secara mendalam. Decoder: Tugasnya adalah ambil representasi dari encoder dan hasilkan jujukan output (contohnya, terjemahan Perancis), satu elemen pada satu masa. Kedua-dua encoder dan decoder terdiri daripada timbunan 'layer' yang sama. Kertas asal guna N=6 'layer' untuk kedua-duanya. Dalam 'Layer' Encoder: Setiap 'layer' encoder ada dua sub-bahagian utama: 1. Multi-Head Self-Attention: Di sinilah keajaiban berlaku. Ia membolehkan setiap kedudukan dalam encoder memberi perhatian kepada semua kedudukan dalam 'layer' encoder sebelumnya. 2. Position-wise Feed-Forward Network: Satu 'network' 'feed-forward' ringkas yang bersambung sepenuhnya, diaplikasi secara berasingan kepada setiap kedudukan. Yang paling penting, output dari setiap sub-bahagian ni dilalui oleh 'residual connections' (tambah input sub-bahagian ke outputnya) diikuti oleh 'layer normalization'. Teknik-teknik ni penting untuk stabilkan 'training' dan membolehkan 'network' jadi lebih dalam. Dalam 'Layer' Decoder: Setiap 'layer' decoder ada tiga sub-bahagian utama: 1. Masked Multi-Head Self-Attention: Sama macam 'self-attention' encoder, tapi ada satu perbezaan penting: ia 'masked'. 'Mask' ni menghalang kedudukan daripada memberi perhatian kepada kedudukan seterusnya. Kenapa? Sebab masa hasilkan terjemahan, korang hanya boleh guna perkataan yang korang dah hasilkan, bukan yang datang kemudian dalam ayat sasaran (ini dipanggil sifat 'auto-regressive'). 2. Multi-Head Encoder-Decoder Attention: Di sinilah decoder berinteraksi dengan output encoder. Queries datang dari 'layer' decoder sebelumnya, manakala Keys dan Values datang dari output timbunan encoder. Ini membolehkan setiap kedudukan dalam decoder memberi perhatian kepada semua kedudukan dalam jujukan input, mencari tahu bahagian mana dari ayat sumber yang paling relevan untuk hasilkan perkataan sasaran semasa. 3. Position-wise Feed-Forward Network: Sama macam dalam encoder. Sekali lagi, 'residual connections' dan 'layer normalization' digunakan di sekeliling setiap sub-bahagian. Arkitektur ni, yang hanya bergantung pada mekanisme 'attention' dan 'feed-forward network' ni, adalah inovasi teras. Ia hapuskan terus keperluan untuk pemprosesan jujukan yang ada dalam RNN.