معاينة الملخص
جي بي تي-3: الذكاء الاصطناعي الذي يتعلم أثناء الطيران (نوعًا ما!)
يا هلا! سمعتوا عن جي بي تي-3؟ هو نموذج ذكاء اصطناعي ضخم جدًا من شركة OpenAI، ويعتبر من العلامات الفارقة في عالم التقنية. انسوا الطرق القديمة لتدريب نماذج الذكاء الاصطناعي اللي كانت تاخذ وقت طويل وتتطلب بيانات محددة جدًا لكل مهمة جديدة. جي بي تي-3 يركز على التعلم "أثناء العمل"، باستخدام ما يسمونه "التعلم بأمثلة قليلة" (few-shot learning). تخيلوا إنكم تورون صديقكم مثال أو مثالين للعبة جديدة، ويفهمها فورًا! هذا هو المفهوم تقريبًا، بس للذكاء الاصطناعي! الورقة البحثية هذه، اللي كتبها فريق من العقول اللامعة في OpenAI (بمساعدة من جامعة جونز هوبكنز)، تتعمق في فهم آلية عمل جي بي تي-3 وإمكانياته.
الطريقة القديمة مقابل الطريقة الجديدة: لماذا جي بي تي-3 مهم؟
قبل جي بي تي-3، كانت الطريقة المعتادة لجعل الذكاء الاصطناعي يؤدي مهام محددة، مثل ترجمة اللغات أو الإجابة على الأسئلة، هي "التدريب المسبق" (pre-training) متبوعًا بـ "التدريب الدقيق" (fine-tuning). كنتم تدربون نموذجًا كبيرًا على كمية هائلة من النصوص العامة (مثل كل محتوى الإنترنت تقريبًا)، ثم تقومون بتدريبه بدقة على مجموعة بيانات أصغر، لكنها لا تزال كبيرة، ومخصصة للمهمة المطلوبة. فكروا فيها كأنكم تحصلون على شهادة جامعية عامة، ثم تكملون برنامج ماجستير متخصص. هذه الطريقة فعالة، لكن لها عيوب رئيسية: 1. متعطش للبيانات (Data Hungry): تحتاجون لآلاف، وأحيانًا مئات الآلاف، من الأمثلة لجزء التدريب الدقيق. إذا لم يكن لديكم هذا القدر من البيانات لمهمتكم المحددة (ربما تكون مهمة متخصصة جدًا؟)، فأنتم في وضع صعب. 2. خطر الإفراط في التخصيص (Overfitting Risk): أحيانًا، عند التدريب الدقيق على مجموعة بيانات ضيقة جدًا، يصبح الذكاء الاصطناعي ممتازًا في التعامل مع تلك البيانات بالضبط ولكنه يفشل فشلًا ذريعًا مع أمثلة مختلفة قليلًا. هذا يشبه حفظ إجابات الاختبار بدلًا من فهم المادة فعليًا. 3. ليس شبيهًا بالبشر: البشر مذهلون في تعلم أشياء جديدة بسرعة. نعرض عليهم صورتين لحيوان جديد، وعادةً ما يمكننا التعرف عليه لاحقًا. لا نحتاج لرؤية آلاف الصور والخضوع لبرنامج تدريبي صارم! هنا يأتي دور جي بي تي-3 ومفهوم "التعلم ضمن السياق" (in-context learning). الفكرة هي أنه إذا كان النموذج كبيرًا بما فيه الكفاية ومدربًا على بيانات متنوعة، يمكنه تطوير نوع من القدرة على "تعلم كيفية التعلم" (meta-learning). في وقت الاستدلال (عند استخدام النموذج فعليًا)، لا تقومون بتحديث أوزانه أو إعادة تدريبه. بدلًا من ذلك، تقدمون له وصف المهمة وربما بضعة أمثلة، كل ذلك ضمن نص المدخل (prompt) نفسه. هذا هو جزء "التعلم بأمثلة قليلة" (أو "بمثال واحد" أو "بدون أمثلة"). رائع، أليس كذلك؟
قابلوا جي بي تي-3: العملاق ذو 175 مليار معامل
إذًا، ما هو بالضبط جي بي تي-3؟ هو نموذج لغوي ذاتي الانحدار (autoregressive language model)، وهذا يعني بشكل أساسي أنه يتنبأ بالكلمة التالية في تسلسل بناءً على الكلمات السابقة. فكروا فيه كأنه ميزة الإكمال التلقائي فائقة القوة. الجزء "175 مليار معامل" هو القنبلة. هذا رقم مذهل! يعني أن النموذج لديه 175 مليار مقبض قابل للتعديل (معاملات) تم ضبطها أثناء مرحلة تدريبه الضخمة. للمقارنة، الجيل السابق، جي بي تي-2، كان لديه حوالي 1.5 مليار معامل. جي بي تي-3 أكبر بحوالي 100 مرة! هذا الحجم الهائل هو ما يمكّن قدراته في التعلم بأمثلة قليلة. اختبر الباحثون جي بي تي-3 عبر مجموعة واسعة من المهام، وكانت النتائج مثيرة للإعجاب حقًا. لم يكن جيدًا فحسب؛ بل كان غالبًا منافسًا، وأحيانًا أفضل، للنماذج الأفضل التي تم تدريبها بدقة لتلك المهام. وفعل كل ذلك بدون أي تحديثات للانحدار (gradient updates)، فقط من خلال النظر إلى الأمثلة التي قدمتموها في المدخل. نظروا في ثلاث طرق رئيسية لاستخدام النموذج: بدون أمثلة (Zero-Shot): تقدمون للنموذج مجرد تعليمات، مثل "ترجم من الإنجليزية إلى الفرنسية: جبن => ". لا حاجة لأمثلة. بمثال واحد (One-Shot): تقدمون التعليمات ومثال واحد: "ترجم من الإنجليزية إلى الفرنسية: ثعلب البحر => loutre de mer. جبن => ". بأمثلة قليلة (Few-Shot): تقدمون التعليمات وبضعة أمثلة (حتى حد نافذة السياق للنموذج، وهو 2048 رمزًا لـ GPT-3): "ترجم من الإنجليزية إلى الفرنسية: ثعلب البحر => loutre de mer. نعناع فلفلي => menthe poivrée. جبن => ". وتخمنون ماذا؟ كلما قدمتم له أمثلة أكثر (حتى نقطة معينة)، كان أداؤه أفضل! كان الأمر أشبه بقول النموذج: "آه، فهمت! هكذا يتم الأمر!" كان هذا التحسن الناتج عن التوسع اكتشافًا كبيرًا.
ماذا يمكن لـ GPT-3 فعله حقًا؟
هذه الورقة مليئة بالنتائج، تظهر جي بي تي-3 وهو يتعامل مع كل شيء بدءًا من نمذجة اللغة الأساسية إلى التفكير المعقد وحتى الكتابة الإبداعية. دعونا نفصل بعض النقاط البارزة:
نمذجة اللغة وإكمال النص: الأساسيات
في جوهره، جي بي تي-3 هو نموذج لغة. يتنبأ بالكلمة التالية. اتضح أنه إذا كنت جيدًا جدًا في ذلك، يمكنك القيام بالكثير من الأشياء الأخرى أيضًا. حقق جي بي تي-3 نتائج متطورة (state-of-the-art) في معايير نمذجة اللغة القياسية مثل Penn Treebank (PTB)، مما يعني أنه كان الأفضل في التنبؤ بتسلسلات النص. كما أنه أتقن مهام مثل LAMBADA، التي تتطلب التنبؤ بالكلمة الأخيرة في مقطع، مما يدل على فهم جيد للسياق بعيد المدى. كما أنه قام بعمل رائع في HellaSwag، وهي مهمة استدلال منطقي صعبة، و StoryCloze، التي تتضمن التنبؤ بنهاية قصة.
الإجابة على الأسئلة: مثل موسوعة متنقلة (مع لمسة)
تخيلوا أنكم تسألون ذكاء اصطناعي أسئلة دون الحاجة لتدريبه بدقة على مجموعة بيانات خاصة بالإجابة على الأسئلة. فعل جي بي تي-3 ذلك بالضبط على مجموعات بيانات مثل Natural Questions و WebQuestions و TriviaQA. في إعداد "الكتاب المغلق" (closed-book) (بمعنى أن النموذج يستخدم فقط معرفته المدربة مسبقًا)، كان أداؤه بأمثلة قليلة قريبًا بشكل ملحوظ من أفضل النماذج المدربة بدقة. حتى أنه حقق نتائج متطورة في إحدى هذه المجموعات. إنه أشبه بأن لديه مكتبة ضخمة في رأسه ويمكنه بسرعة العثور على المعلومات ذات الصلة بناءً على سؤالك وبضعة أمثلة.
