Summio

PDF

الانتباه هو كل ما تحتاجه

تقدم هذه الورقة نموذج Transformer، وهو بنية شبكة عصبية رائدة تخلت عن التكرار لصالح آلية الانتباه، مما أحدث ثورة في نمذجة التسلسلات.

27 دقيقة قراءة

متاح باللغات

معاينة الملخص

تفكيك بنية الترانسفورمر: لماذا غيّر "الانتباه هو كل ما تحتاجه" كل شيء

يا هلا! أكيد سمعت كثير عن الذكاء الاصطناعي هالأيام، صح؟ نماذج تقدر تكتب، تبرمج، تترجم، وحتى تبدع فن. طيب، جزء كبير من الثورة هذي يرجع لورقة بحثية وحدة نزلت في 2017 اسمها "Attention Is All You Need" (الانتباه هو كل ما تحتاجه). الورقة هذي قدّمت نوع جديد من بنية الشبكات العصبية اسمه الترانسفورمر (Transformer)، وبصراحة، فتحت أبواب واسعة لإمكانيات الذكاء الاصطناعي، خصوصًا مع اللغة. قبل الترانسفورمر، كانت النماذج الأساسية لمهام التسلسل (Sequence tasks) زي الترجمة الآلية هي الشبكات العصبية المتكررة (RNNs)، بما فيها أقاربها الأكثر تطوراً زي LSTMs و GRUs. تخيل الـ RNNs زي قراءة كتاب كلمة بكلمة، تحاول تتذكر كل شيء فات عشان تفهم الكلمة الحالية. طبيعتها التسلسلية هذي بديهية، لكن فيها عيب كبير: بطيئة. ما تقدر تعالج الكتاب كله مرة وحدة، لازم تمشي كلمة كلمة، وهذا يخلي تدريب النماذج هذي صعب ويحد من تعقيدها. الورقة هذي، اللي كتبها فريق الأحلام من جوجل براين، جوجل ريسيرش، وجامعة تورنتو (آشيش فاسواني، نوعم شيزير، نيكي بارمر، جاكوب أوزكوريت، ليون جونز، أيدن غوميز، لوكاش كايزر، وإيليا بولوسوخين)، طرحت فكرة جذرية: وش لو نتخلص من التكرار تمامًا؟ وش لو نبني نموذج يشوف كل الكلمات في الجملة بنفس الوقت ويحدد أيها أهم لفهم كل كلمة؟ هنا تجي آليات الانتباه (attention mechanisms)، والترانسفورمر مبني بالكامل عليها. تخيل إنك تترجم جملة. بدل ما تشوف بس الكلمة اللي قبلها مباشرة، آلية الانتباه تسمح للنموذج بالتركيز مباشرة على أي كلمة في الجملة المصدر اللي لها علاقة بالكلمة اللي يحاول يترجمها حاليًا. كأنك تظلل أهم الأجزاء في نص لمهمة معينة. الترانسفورمر يأخذ هالفكرة للحد الأقصى، يستخدم نوع من الانتباه اسمه الانتباه الذاتي (self-attention) حيث النموذج يوزن أهمية كل الكلمات الثانية في نفس الجملة لما يعالج كلمة معينة. هذا يسمح له بالتقاط الاعتماديات طويلة المدى – زي فهم كيف ضمير في نهاية فقرة له علاقة باسم في بدايتها – بفعالية أكبر بكثير من الـ RNNs. النتيجة؟ الترانسفورمر مو بس أسرع بكثير في المعالجة المتوازية (يعني نقدر ندربه أسرع بكثير على الأجهزة الحديثة زي GPUs)، لكنه حقق كمان نتائج متطورة (state-of-the-art) في الترجمة الآلية، متجاوزًا الأرقام القياسية السابقة بفارق كبير. نتكلم عن تحقيق أعلى درجات الترجمة من الإنجليزية للألمانية والإنجليزية للفرنسية في أيام قليلة من التدريب، إنجاز كان ياخذ وقت أطول بكثير أو يحتاج تجميعات ضخمة من النماذج. هذا مو بس عن الترجمة. الورقة كمان توضح كيف الترانسفورمر يقدر يعمم على مهام ثانية زي التحليل النحوي الإنجليزي (English constituency parsing)، موضحًا قوته ومرونته. هي ورقة تأسيسية وضعت الأساس لنماذج زي BERT، GPT، وغيرها كثير اللي تشكل عالمنا اليوم. فشدوا الأحزمة، لأننا بنغوص عميقًا في اللي يخلي هالبنية مميزة جدًا، من مكوناتها الأساسية للخُدع الذكية اللي تخليها تشتغل.

مشكلة الجيل القديم: ليش كانت الـ RNNs تبطئنا؟

قبل ما نتحمس كثير للترانسفورمر، مهم جدًا نفهم ليش كان صفقة كبيرة. لسنوات، ملوك نمذجة التسلسل – مهام زي ترجمة اللغات، تلخيص النصوص، أو حتى توقع الكلمة التالية في جملة – كانوا الشبكات العصبية المتكررة (RNNs). فكر في LSTMs (Long Short-Term Memory) و GRUs (Gated Recurrent Units). كانوا كويسين، بس كان عندهم حد أساسي: كانوا يعالجون المعلومات بشكل تسلسلي. تخيل عندك جملة: "الثعلب البني السريع يقفز فوق الكلب الكسول." الـ RNN بيعالجها كالتالي: 1. يقرأ "الثعلب"، ويحدّث ذاكرته الداخلية (الحالة المخفية). 2. يقرأ "البني"، ويحدّث ذاكرته بناءً على "الثعلب" و "البني". 3. يقرأ "السريع"، ويحدّث ذاكرته بناءً على الحالة السابقة و "السريع". 4. ... وهكذا، لين يوصل لـ "الكسول". كل خطوة تعتمد على نتيجة الخطوة اللي قبلها. هذا يخلق تفاعل متسلسل، ولو تبغى تفهم معنى "يقفز"، الـ RNN لازم يكون عالج وتذكر معلومات "الثعلب البني السريع" بشكل صحيح. الاعتمادية التسلسلية هذي هي المشكلة الأساسية. تخلي المعالجة المتوازية – معالجة أجزاء متعددة من المدخل بنفس الوقت – صعبة جدًا، إن لم تكن مستحيلة. ليش؟ لأنك ما تقدر تحسب حالة "يقفز" لين تحسب حالة "السريع"، وما تقدر تسوي هذا لين تسوي "البني"، وهكذا. هذا عنق زجاجة كبير للتدريب. تدريب نماذج التعلم العميق يحتاج كميات هائلة من الحسابات، والقيام بها بشكل تسلسلي يأخذ وقت طويل جدًا. لو عندك مجموعة بيانات ضخمة ونموذج معقد، ممكن تنتظر أيام، أسابيع، أو حتى شهور لتجربة تدريب وحدة. بالإضافة إلى ذلك، كل ما زادت أطوال التسلسلات، تزداد صعوبة تذكر المعلومات من البداية للـ RNNs. المعلومات ممكن تتبدد أو تضيع على الطريق – مشكلة "تلاشي التدرج" (vanishing gradient) الشهيرة، مع إن LSTMs و GRUs صُممت للتخفيف منها، لكنها ما قضت عليها تمامًا. الآن، بنى أخرى زي الشبكات العصبية الالتفافية (CNNs) كانت أظهرت قوة المعالجة المتوازية في مجالات زي التعرف على الصور. تمت محاولات لتطبيق هياكل شبيهة بالـ CNN على التسلسلات (زي ByteNet أو ConvS2S)، وسمحت بمزيد من المعالجة المتوازية مقارنة بالـ RNNs. لكن، كان عندهم مشاكلهم الخاصة. لالتقاط الاعتماديات بين الكلمات البعيدة في الجملة، هذه النماذج الالتفافية كانت تحتاج تستخدم طبقات عميقة جدًا أو فلاتر كبيرة جدًا (kernels). هذا يعني أن "طول المسار" – عدد الخطوات اللي تحتاجها المعلومة عشان تنتقل من جزء لجزء ثاني في التسلسل – كان ممكن يظل كبير، مما يعيق تعلم الاعتماديات طويلة المدى. فالوضع قبل الترانسفورمر كان ببساطة مقايضة: الـ RNNs كانت كويسة في التقاط الاعتماديات التسلسلية لكن سيئة جدًا في المعالجة المتوازية والسرعة. المقاربات القائمة على CNNs وفرت معالجة متوازية أكثر لكنها عانت مع الاعتماديات طويلة المدى جدًا بدون ما تصير معقدة حسابيًا أو تتطلب طبقات عميقة.

دخول الترانسفورمر: أمل جديد مبني على الانتباه

مؤلفو ورقة "Attention Is All You Need" نظروا لهذا المشهد وسألوا: هل نقدر نحصل على أفضل ما في العالمين؟ هل نقدر نحصل على نموذج يلتقط الاعتماديات بغض النظر عن بعدها في التسلسل (زي ما يعد الانتباه) ويكون متوازي جدًا؟ إجابتهم كانت نعم مدوية، والمفتاح كان التخلص من التكرار والالتفاف تمامًا والاعتماد فقط على آليات الانتباه.

ما هو الانتباه بالضبط؟

قبل ما نتعمق في بنية الترانسفورمر، خلينا نفهم الانتباه. ببساطة، آلية الانتباه تسمح للنموذج بالتركيز على أجزاء معينة من المدخل عند معالجة معلومة معينة. فكر كيف تقرأ: لما تقابل كلمة زي "هو"، عقلك تلقائيًا يبحث للخلف عشان يعرف على مين يعود "هو". آليات الانتباه تحاول تحاكي هذا. في سياق الشبكات العصبية، الانتباه عادة يتضمن ثلاث مكونات: الاستعلامات (Queries - Q): تمثل معلومة حالية تركز عليها (مثلاً، الكلمة اللي تحاول تترجمها). المفاتيح (Keys - K): تمثل المعلومات المتاحة في تسلسل المدخل اللي ممكن تبي تركز عليها. القيم (Values - V): تمثل المحتوى الفعلي أو التمثيل المرتبط بكل مفتاح. آلية الانتباه تحسب مدى تطابق كل مفتاح مع الاستعلام. درجة التطابق هذي (غالبًا محسوبة باستخدام الضرب النقطي) تستخدم لإنشاء أوزان. هذه الأوزان تحدد كم من كل قيمة مقابلة يجب دمجها لإنتاج المخرج النهائي. أساسًا، هي طريقة لوزن أهمية أجزاء مختلفة من المدخل ديناميكيًا بناءً على السياق الحالي (الاستعلام).

الانتباه الذاتي: نجم العرض

المغيّر الحقيقي في الترانسفورمر هو الانتباه الذاتي (self-attention). على عكس الانتباه التقليدي حيث ممكن تنتبه لتسلسل مختلف (زي الانتباه للجملة المصدر أثناء فك تشفير الجملة الهدف)، الانتباه الذاتي يربط بين مواضع مختلفة لتسلسل واحد لحساب تمثيل لهذا التسلسل. بعبارة أبسط، لكل كلمة في جملة، الانتباه الذاتي يسمح للنموذج بالنظر إلى كل الكلمات الأخرى في نفس الجملة وتحديد أيها الأكثر صلة لفهم تلك الكلمة المحددة. نرجع لجملة "الثعلب البني السريع يقفز فوق الكلب الكسول". لما الترانسفورمر يعالج كلمة "يقفز"، الانتباه الذاتي يسمح له بالنظر إلى "الثعلب"، "البني"، "السريع"، "فوق"، "الكلب"، "الكسول" بنفس الوقت. يقدر يتعلم، مثلاً، أن "الثعلب" له علاقة قوية بـ "يقفز" لأن الثعالب حيوانات تقفز. يقدر كمان يتعلم أن "فوق" له علاقة لأنه يصف كيف تحدث القفزة بالنسبة لـ "الكلب". هذي القدرة على نمذجة العلاقات مباشرة بين أي كلمتين في التسلسل، بغض النظر عن المسافة بينهما، قوية جدًا. تتجاوز عنق الزجاجة التسلسلي للـ RNNs وقيود الطبقات للـ CNNs.

بنية الترانسفورمر: تجميع الكل

الترانسفورمر مو مجرد طبقة انتباه وحدة؛ هي بنية مصممة بعناية مبنية على آليات الانتباه هذي. تتكون من جزأين رئيسيين: مشفر (Encoder) و مفكك تشفير (Decoder). المشفر: وظيفته معالجة تسلسل المدخل (مثلاً، الجملة الإنجليزية) وإنتاج تمثيل غني وواعي بالسياق له. كأنه يقرأ ويفهم الجملة المصدر بعمق. مفكك التشفير: وظيفته أخذ تمثيل المشفر وتوليد تسلسل المخرج (مثلاً، الترجمة الفرنسية)، عنصرًا تلو الآخر. كلا المشفر ومفكك التشفير يتكونان من مكدسات من طبقات متطابقة. الورقة الأصلية استخدمت N=6 طبقات لكليهما. داخل طبقة المشفر: كل طبقة مشفر تحتوي على طبقتين فرعيتين رئيسيتين: 1. الانتباه الذاتي متعدد الرؤوس (Multi-Head Self-Attention): هنا يحدث السحر. يسمح لكل موضع في المشفر بالانتباه إلى كل المواضع في الطبقة السابقة للمشفر. 2. شبكة تغذية أمامية موضعية (Position-wise Feed-Forward Network): شبكة تغذية أمامية بسيطة وكاملة الاتصال تُطبق بشكل مستقل على كل موضع. بشكل حاسم، يتم تمرير مخرج كل طبقة فرعية عبر اتصالات متبقية (residual connections) (إضافة مدخل الطبقة الفرعية إلى مخرجها) متبوعة بـ تطبيع الطبقة (layer normalization). هذه التقنيات حيوية لتثبيت التدريب والسماح للشبكة بأن تكون أعمق. داخل طبقة مفكك التشفير: كل طبقة مفكك تشفير تحتوي على ثلاث طبقات فرعية رئيسية: 1. الانتباه الذاتي متعدد الرؤوس المقنع (Masked Multi-Head Self-Attention): مشابه لانتباه المشفر الذاتي، ولكن مع اختلاف حاسم: إنه "مقنع". هذا القناع يمنع المواضع من الانتباه إلى المواضع اللاحقة. ليش؟ لأنه عند توليد الترجمة، يمكنك فقط استخدام الكلمات التي سبق أن ولدتها، وليس تلك التي تأتي لاحقًا في الجملة الهدف (هذه تسمى خاصية التراجع التلقائي - auto-regressive property). 2. الانتباه متعدد الرؤوس للمشفر-مفكك التشفير (Multi-Head Encoder-Decoder Attention): هنا يتفاعل مفكك التشفير مع مخرجات المشفر. الاستعلامات تأتي من طبقة مفكك التشفير السابقة، بينما تأتي المفاتيح والقيم من مخرجات مكدس المشفر. هذا يسمح لكل موضع في مفكك التشفير بالانتباه إلى كل مواضع تسلسل المدخل، لتحديد أي أجزاء من الجملة المصدر هي الأكثر صلة لتوليد كلمة الهدف الحالية. 3. شبكة تغذية أمامية موضعية (Position-wise Feed-Forward Network): تمامًا كما في المشفر. مرة أخرى، تُستخدم الاتصالات المتبقية وتطبيع الطبقة حول كل طبقة فرعية. هذه البنية، التي تعتمد كليًا على آليات الانتباه هذي وشبكات التغذية الأمامية، كانت الابتكار الأساسي. لقد أزالت تمامًا الحاجة للمعالجة التسلسلية المتأصلة في الـ RNNs.