ما هو GPT-3؟ كل ما يحتاجه عملك لمعرفته حول برنامج الذكاء الاصطناعي المبتكر للغة OpenAI

GPT-3 هو برنامج حاسوبي تم إنشاؤه بواسطة شركة صاحبة الملكية بالخاصة OpenAI في سان فرانسيسكو. إنه شبكة عصبية ضخمة، وبالتالي فهو جزء من قطاع التعلم العميق في تعلم الآلة، وهو بدوره جزء من مجال علم الحاسوب المعروف بالذكاء الاصطناعي. البرنامج أفضل من أي برنامج سابق في إنتاج سلاسل نصية تبدو كما لو كتبها إنسان.

السبب الذي يجعل هذا الاختراق مفيدًا للشركات هو أنه لديه إمكانية كبيرة لتأتيمير المهام. يمكن لجي بي تي-3 الاستجابة لأي نص يقوم به شخص في الكمبيوتر بقطعة نصية جديدة مناسبة للسياق. اكتب جملة إنجليزية كاملة في مربع البحث ، على سبيل المثال ، ومن المرجح أن تحصل على ردود أفعال ملائمة أكثر في جمل كاملة. هذا يعني أن جي بي تي-3 بالإمكان تعزيز الجهد البشري في مجموعة متنوعة واسعة من الحالات ، من الأسئلة والأجوبة في خدمة العملاء إلى البحث عن المستندات ذات الدليل المستقيم إلى إنشاء التقارير.

قم بملاحظة النموذج القصير التالي لما يكتبه الشخص في الكمبيوتر وكيف يرسل GPT-3 ردًا:

إدخال المستخدم البشري : س: من يلعب دور تيس في برنامج "لمسة ملاك"؟

GPT-3-generated completion : أ: ديلوريز باتريشيا إيرلي (6 يوليو 1931 - 19 نوفمبر 2017) ، المعروفة بشكل مهني باسم ديلا ريزي

البرنامج في الوقت الحالي في نسخة تجريبية خاصة يمكن للناس الاشتراك في قائمة انتظار. ويتم تقديمه من قبل OpenAI كواجهة برمجة تطبيقات (API) يمكن الوصول إليها عبر السحابة، وقد طورت الشركات التي حصلت على وصول إلى البرنامج تطبيقات مثيرة تستخدم إنتاج النصوص لتعزيز جميع أنواع البرامج، بدءًا من الإجابة على الأسئلة البسيطة وحتى إنتاج الشفرات البرمجية.

جنبًا إلى جنب مع إمكانية التأتأة تأتي عيوب كبيرة. إن GPT-3 يحتاج إلى قدر كبير من الحسابات، مما يجعله خارج إمكانية استخدام معظم الشركات في أي طراز محتمل على الموقع. يمكن أن يكون النص المُنتج مثيرًا للإعجاب بالمقام الأول، ولكن الأعمال الطويلة تصبح إلى حد ما خَلَلًا. ولديه إمكانية كبيرة لتضخيم التحيزات، بما في ذلك العنصرية والتحيز الجنساني.

كيف يعمل GPT-3؟

جي بي تي-3 هو مثال على ما يُعرف بنموذج اللغة، وهو نوع محدد من البرنامج الاحصائي. في هذه الحالة، تم إنشاؤه على شكل شبكة عصبية.

الاسم GPT-3 هو اختصار يعني "التدريب التوليدي المسبق"، وهذا هو الإصدار الثالث حتى الآن. فهو يمتاز بالقدرة على توليد تسلسلات طويلة من النصوص الأصلية كنتيجة للإخراج، بدلاً من إخراج علامة رقمية أو إجابة نعم أو لا مثل الشبكات العصبية الأخرى. وهو مدرب مسبقاً بالمعنى الذي لم يتم فيه بناءه بأي معرفة مجالية، على الرغم من أنه يستطيع إنجاز مهام خاصة بالمجالات مثل ترجمة اللغات الأجنبية.

نموذج اللغة، في حالة GPT-3، هو برنامج يحسب كم هو مرجح ظهور كلمة واحدة في نص معين بناءً على الكلمات الأخرى في النص. وهذا هو ما يعرف بالاحتمالية المشروطة للكلمات.

على سبيل المثال، في الجملة، كنت أرغب في عمل عجة، لذا ذهبت إلى الثلاجة وأخرجت بعض ____، يمكن ملء الفراغ بأي كلمة، حتى الكلمات العبثية، نظرًا للقدرة اللا محدودة للغة على التكوين. ولكن كلمة "بيض" تسجل على الأرجح علامة عالية لملء تلك الفراغ في معظم النصوص العادية، أعلى حتى من "الفيلة" على سبيل المثال. نقول أن احتمالية وجود "بيض" في ضوء النص المطلوب أعلى من احتمالية وجود "الفيلة".

عند تطوير الشبكة العصبية، المعروفة بمرحلة التدريب، يتم تغذية GPT-3 بملايين وملايين عينات من النصوص ويحول الكلمات إلى ما يسمى بالمتجهات، أو التمثيلات العددية. هذا هو شكلٌ من أشكال ضغط البيانات. ثم يحاول البرنامج فك ضغط هذه النصوص المضغوطة وإعادتها لجملة صحيحة. ومهمة ضغط وفك الضغط تطور دقة البرنامج في حساب الاحتمالية المشروطة للكلمات.

بمجرد أن يتم تدريب النموذج، وهو يعني أن حساباته لاحتمالية الشرطية عبر مليارات الكلمات يتم جعلها دقيقة قدر الإمكان، ثم يمكن أن يتوقع ما الكلمات التي تأتي بعدها عندما يتم تشغيله بواسطة شخص يكتب كلمة أو كلمات ابتدائية. هذا الإجراء الذي يتم به التوقع معروف في التعلم الآلي باسم الاستنتاج.

هذا يؤدي إلى تأثير مرآة مذهلة. ليس فقط تظهر كلمات محتملة ، ولكن يتم إعادة إنتاج نسيج وإيقاع النوع الأدبي أو شكل المهمة المكتوبة ، مثل مجموعات الأسئلة والأجوبة. على سبيل المثال ، يمكن تغذية GPT-3 ببعض أسماء الشعراء الشهيرين وعينات من أعمالهم ، ثم اسم شاعر آخر وفقط عنوان لقصيدة وهمية ، وسينتج GPT-3 قصيدة جديدة بطريقة متسقة مع إيقاع وبناء الجملة للشاعر الذي تم تشجيع اسمه.

تأمل في هذا المثال لـ GPT-3 في إنشاء قصيدة من البداية مع شبه بأعمال والاس ستيفنز بعد توفير عناوين وأسماء وأمثلة لشعراء آخرين وأعمالهم:

المدخل الذي قدمه الإنسان : المدينة   للكاتب: C. P. كافافي   ترجمة: إدموند كيلي [نص القصيدة محذوف]

الإدخال المقدم من الإنسان: بعض الأشجار جون أشبيري [تم حذف نص القصيدة]

الإدخال الذي تم تزويده من قبل الإنسان: الظلال في الطريق - والاس ستيفنز

GPT-3-generated completion : -------- القصيدة المولدة رقم 1 --------   يجب أن يكون هناك ظلال في طريقي  إذا كنت سأمشي يجب أن يكون  كل خطوة تؤخذ ببطء وبمفردها  لكي تكون جاهزة    ويجب أن أفكر في ألوان الرمادي  لتكون الأفكار الخافتة هي دليلي  يجب أن أنظر إلى اللونين الأزرق والأخضر  ولا أدع عيني تنسى  أن اللون هو صديقي  ويجب أن يحيطني اللون الأرجواني أيضًا  لا يتدخل الأصفر للشمس أكثر  من الثلج الأزرق  الذي يتساقط على الجميع. يجب أن يكون  الأفكار الرمادية والأفكار الزرقاء تمشي معي  إذا كنت أنوي الذهاب إلى أي مكان على الإطلاق.

توليد رد يعني أن GPT-3 يمكنه الذهاب بعيدًا جدًا عن مجرد إنتاج الكتابة. يمكنه الأداء في جميع أنواع الاختبارات بما في ذلك اختبارات الاستدلال التي تنطوي على رد بلغة طبيعية. على سبيل المثال ، إذا تم إدخال مقالة حول أسعار الإيجار لعقارات مانهاتن للإيجار إلى GPT-3 ، بالإضافة إلى بيان يلخص النص ، مثل "مانهاتن رخيصة" ، والسؤال "صحيح أو خاطئ؟" ، فسوف يرد GPT-3 على الجملة بكاملها عن طريق إرجاع كلمة "خاطئة" ، حيث لا تتفق الجملة مع حجة المقالة.

المدخلات المقدمة من البشر: قد يبدو الاتجاه نحو انخفاض الإيجارات مفاجئًا بالنظر إلى أن بعض المجتمعات في نيويورك تندب فقدان الأعمال المحلية المفضلة بسبب الإيجارات المرتفعة. ولكن، على الرغم من التخفيف الأخير، لا يزال هناك قفزة كبيرة جدًا في الأسعار بالنسبة للعديد من هؤلاء التجار مقارنةً بأسعار الإيجارات في أواخر السبعينيات عند توقيع عقودهم. بالتأكيد، لا يعني الانخفاض الحالي في الأسعار أن مانهاتن رخيصة الثمن.

الإدخال المقدم من الإنسان: سؤال: مانهاتن رخيصة. صحيح، خاطئ أم لا؟

مدخلات تم تزويدها من قبل البشر: الإجابة: 

استكمال تم توليده بواسطة جي بي تي-3: خاطئ

قدرة GPT-3 على الاستجابة بطريقة متسقة مع مهمة مثالية، بما في ذلك النماذج التي لم يتعرض لها من قبل، تجعله نموذج لغوي "بضعة تدريبات". بدلاً من التدريب الشامل الموجه، أو "التدريب" كما يُطلق عليه، في مهمة معينة، فإن لدى GPT-3 معلومات كبيرة بالفعل حول الطرق المتعددة التي يتم فيها تجميع الكلمات، بحيث يمكن أن يحصل على عدد قليل فقط من أمثلة المهمة، وهي ما يسمى بخطوة الضبط الدقيق، ويكتسب القدرة على أداء تلك المهمة الجديدة أيضًا.

القدرة على محاكاة أنماط اللغة الطبيعية وتحقيق درجات عالية نسبيًا في الاختبارات المبنية على اللغة يمكن أن تعطي انطباعًا بأن GPT-3 يقترب من القدرة البشرية في التعامل مع اللغة. كما سنرى، فإن ذلك ليس الحال.

يمكن العثور على مزيد من التفاصيل التقنية في ورقة GPT-3 الرسمية التي نشرها علماء OpenAI.

ما الذي يمكن لـ GPT-3 فعله؟

أصبحت شركة OpenAI الآن مشهورة - أو سيئة السمعة - بسبب ممارساتها في إصدار الشفرة بالإضافة إلى الشفرة نفسها. عندما كشفت الشركة عن GPT-2 ، السلف له ، في عيد الحب في عام 2019 ، في البداية لم يكن يريد إصدار الإصدار الأكثر قدرة للجمهور ، قائلاً إنه خطير جدًا أن يتم إطلاقه في البرية بسبب خطر إنتاج نصوص زائفة ومضللة بكميات كبيرة. ومن ثم جعلت OpenAI المشروع متاحًا للتنزيل.

في هذه المرة ، لا توفر OpenAI أي تنزيلات. بدلاً من ذلك ، قامت بتشغيل نقطة نهاية لواجهة برمجة تطبيقات قائمة على السحابة ، مما يجعل GPT-3 عرضًا كخدمة. (فكر فيها على أنها LMaaS ، خدمة نموذج اللغة كخدمة.) ويدعي OpenAI أن السبب في ذلك هو تقييد استخدام GPT-3 من قبل العناصر السيئة وتحقيق أرباح.

"لا يوجد 'زر تراجع' مع البرمجيات ذات المصدر المفتوح،" أوضح OpenAI لـ ZDNet عبر المتحدث الرسمي.

"إصدار GPT-3 عبر واجهة تطبيق برمجة التطبيقات يسمح لنا بالتحكم بشكل آمن في استخدامه وإلغاء الوصول إليه إذا لزم الأمر."

في الوقت الحالي ، يتم تقديم خدمة OpenAI API لأطراف معتمدة فقط. يمكن للأشخاص الانضمام إلى قائمة الانتظار للحصول على الوصول إليها.

"في الوقت الحالي، هذه الواجهة البرمجية في مرحلة بيتا محددة مع عدد قليل من المطورين الذين يقدمون فكرة لشيء يودون تطويره باستخدام الواجهة البرمجية،" صرحت OpenAI لموقع ZDNet.

أيضًا: تم إطلاق مولد نصوص الذكاء الاصطناعي الخطير من OpenAI: يعتبر الناس الكلمات "مقنعة"

هناك أمثلة مثيرة للاهتمام على ما يمكن فعله من الشركات المشاركة في البرنامج التجريبي. Sapling، وهي شركة تدعمها صندوق الاستثمار Y Combinator، تقدم برنامجًا يعمل فوق برامج إدارة علاقات العملاء (CRM). عندما يتعامل ممثل العملاء مع طلب مساعدة وارد، مثلاً، عبر البريد الإلكتروني، يستخدم البرنامج GPT-3 لاقتراح عبارة كاملة كإجابة من بين الإجابات الأكثر احتمالًا.

شركة صانعة للألعاب تدعى لاتيتود تستخدم GPT-3 لتعزيز لعبة المغامرة المبنية على النصوص، وهي لعبة AI Dungeon. عادةً ما تتطلب لعبة المغامرة شجرة قرارات معقدة لبرمجة عدة مسارات ممكنة خلال اللعبة. بدلاً من ذلك، يمكن لـ GPT-3 إنشاء حالة لعب متغيرة بناءً على إجراءات المستخدمين المكتوبة بطريقة ديناميكية.

بالفعل، التطوير التلقائي للمهام يتجاوز اللغة الطبيعية لإنشاء الشفرة المصدرية. الشفرة المصدرية هي لغة، ويمكن لـ GPT-3 أن يستنتج بناء جملة وأبراز الأغراض الأكثر احتمالاً مع عوامل التشغيل في لغات البرمجة المختلفة، ويمكن له إنتاج تسلسلات يمكن تجميعها وتشغيلها بنجاح.

مثال مبكر أثار ضجة على تويتر من شركة تطوير التطبيقات Debuild. كان رئيس الشركة، شريف شميم، قادرًا على بناء برنامج يتيح لك كتابة وصف لواجهة المستخدم الخاصة بالبرمجيات باللغة الإنجليزية البسيطة، ثم يستجيب GPT-3 برمز الكمبيوتر باستخدام توسيع JSX للجافا سكريبت. هذا الرمز ينتج واجهة مستخدم تطابق وصفك.

هذا أمر مدهش. مع GPT-3، بنيت مُولِّد تخطيط حيث تصف فقط التخطيط الذي تريده، ويُولد لك كود JSX. واو pic.twitter.com/w8JkrZO4lk

— شريف شميم (@sharifshameem) 13 يوليو، 2020

شميم أظهر أنه من خلال وصف واجهة المستخدم بأزرار متعددة، بجملة واحدة يمكنه وصف برنامج بأكمله، وإن كان برنامجًا بسيطًا مثل حساب العمليات الحسابية الأساسية وعرض النتيجة، وسيقوم جي بي تي - 3 بإنشاء كل الشفرة اللازمة له وعرض التطبيق المعمل على الفور

تماما بنيت تطبيق React *العامل* عن طريق وصف ما أردته لـ GPT-3. أنا لا زلت مذهولا. pic.twitter.com/UUKSYz2NJO

— شريف شميم (@sharifshameem) يوليو ١٧، ٢٠٢٠

فقد تلقت OpenAI "عشرات الآلاف من التطبيقات للحصول على وصول إلى واجهة برمجة التطبيقات حتى الآن، ونحن نتعامل بحذر مع هذا الوصول حتى نتعرف بالضبط على ما يمكن أن تقوم به هذه النماذج في العالم الحقيقي"، وفقًا لتصريحات الشركة لـ ZDNet. "لذلك قد يكون هناك قائمة انتظار طويلة."

الأسعار لخدمة تجارية في النهاية لم يتم تحديدها بعد. وعندما سألت ZDNet عن متى سيتم إطلاق البرنامج النهائي، أجابت OpenAI بأنه "ليس قريبًا على الإطلاق".

"صدور نموذج قوي من هذا القبيل يعني أننا بحاجة للانتقال ببطء وأن نكون حذرين تجاه تأثيره على الأعمال والصناعات والأشخاص ،" قالت الشركة. "صيغة واجهة برمجة التطبيقات تسمح لنا بدراسة وتنظيم استخداماته بشكل مناسب ، ولكننا لسنا مستعجلين لجعله متاحًا بشكل عام نظرًا لقيوده."

إذا كنت غير متحمس لقائمة الانتظار التجريبية، يمكنك في الوقت الحالي تنزيل الإصدار السابق، GPT-2، الذي يمكن تشغيله على جهاز الكمبيوتر المحمول باستخدام تثبيت Docker. يتم نشر الشيفرة المصدرية في نفس مستودع Github، في نسق Python لإطار العمل TensorFlow. بالطبع، لن تحصل على نفس النتائج كما في GPT-3، ولكنها طريقة للبدء في التعرف على النظام.

تذكر أيضًا أن هناك نماذج لغوية جديدة تظهر بقدرات مماثلة في كل وقت، وقد يكون بعضها كافياً لأغراضك. على سبيل المثال، قامت Google مؤخرًا بإصدار نسخة من نموذجها اللغوي BERT، تُدعى LaBSE، والذي يظهر تحسينًا ملحوظًا في ترجمة اللغة. وهي متاحة للتنزيل من منصة TensorFlow Hub.

أيضًا: عمق GPT-3 العملاق من OpenAI عند حدود نماذج اللغة للذكاء الاصطناعي

ما هي تاريخ GPT-3؟

تم الكشف عن GPT-3 في مايو، وهو الإصدار الثالث من برنامج تم تقديمه لأول مرة في عام 2018 من قبل OpenAI، وتبعه في العام الماضي GPT-2. البرامج الثلاثة هي مثال على الابتكار السريع في مجال نماذج اللغة، وذلك بفضل تقدمين كبيرين، حدثا في عام 2015.

التقدم الأول كان باستخدام ما يُعرف بالانتباه. لاحظ عالم الذكاء الاصطناعي يوشوا بنجيو وزملاؤه في معهد ميلا للذكاء الاصطناعي في مونتريال أن النماذج اللغوية، عند ضغط جملة باللغة الإنجليزية ومن ثم فك ضغطها، تستخدم جميعها متجه ذو طول ثابت. تم ضغط كل جملة في متجه بنفس الحجم، بغض النظر عن طول الجملة.

Bengio وفريقه استنتجوا أن هذا النهج الصارم كان عائقًا. يجب أن يكون بإمكان نموذج اللغة البحث عبر العديد من الفيكتورات ذات الأطوال المختلفة للعثور على الكلمات التي تحسن الاحتمالية الشرطية. ولذلك ابتكروا طريقة للسماح للشبكة العصبية بضغط الكلمات بشكل مرن إلى فييكتورات ذات أحجام مختلفة، وكذلك السماح للبرنامج بالبحث بشكل مرن عبر تلك الفيكتورات للحصول على السياق الذي يهم. سموها الاهتمام.

أصبح الاهتمام عنصراً أساسيًا في نماذج اللغة. تم استخدامه من قبل علماء جوجل بعد عامين لإنشاء برنامج نموذج لغة يُسمى "المحوّل". حقق المحوّل درجات لا تصدق في اختبارات تلاعب اللغة. أصبح المحوّل النموذج اللغوي الفعلي، واستُخدم من قبل جوجل لإنشاء ما يُعرف بـ بيرت، نموذج لغة آخر ناجح جداً. أصبح المحوّل أيضًا أساسًا لـ GPT-1.

من خلال التحرر من الحاجة إلى التلاعب بشكل صارم في متجه ذو حجم ثابت، يمكن للمحول وأنسلته أن يتجوّلوا في جميع أنحاء أجزاء مختلفة من النص المعطى وأن يجدوا تبعيات مشروطة تمتد على سياق أوسع بكثير.

هذه الحرية وضعت المسرح لابتكار آخر وصل في عام 2015 وكان أكثر أهمية لعمل OpenAI، وهو معروف باسم التعلم بدون إشراف.

لقد تركزت الاهتمام حتى ذلك الوقت لمعظم نماذج اللغة على التعلم المشروف باستخدام ما يعرف بالبيانات المؤشرة. يُعطى للشبكة العصبية مثالاً للناتج كنسخة هدف للإجابة. لذا، إذا كانت المهمة تتعلق بالترجمة، فإن جملة باللغة الإنجليزية قد تكون المدخل، ويتم توفير ترجمة فرنسية من صنع الإنسان كهدف مرغوب فيه، وتكون الزوج من الجمل هو مثال مُعلم.

محاولة الشبكة العصبية لتوليد ترجمة فرنسية ستقارن بالجملة الفرنسية الرسمية، والاختلاف بينهما هو مقدار خطأ الشبكة العصبية في عمل توقعاتها، ما يُعرف بدالة الخسارة أو الهدف.

المرحلة التدريبية تهدف إلى تقليل فجوة الخطأ بين الإخراج المقترح من الشبكة العصبية والإخراج المستهدف. عندما تكون الفجوة بأقصى قدر ممكن صغيرة، يعتبر الدالة الهدفية محسنة، وتعتبر الشبكة العصبية لنموذج اللغة مدربة.

لكن وجود النتائج المرجوة المعينة بعناية يمكن أن يشكل مشكلة لأنه يتطلب الكثير من التنظيم للبيانات، مثل تجميع أزواج الجمل العينية بواسطة الحكم البشري، وهو مهمة تستهلك الوقت وتتطلب الكثير من الموارد. قام أندرو داي وكوك لي من جوجل بتفترض أنه يمكن تقليل البيانات المعينة اللازمة إذا تم تدريب نموذج اللغة بطريقة غير مشروفة أولاً.

بدلاً من أن تتلقى زوجًا من الجمل، تم تقديم سلاسل أحادية فقط للشبكة وكان عليها ضغط كل جملة إلى متجه واستعادة كل جملة إلى سابقتها الأصلية. أصبحت المراية وظيفة الخسارة التي يتم تحسينها. اكتشفوا أنه كلما تم ضغط الأمثلة غير الموسومة واستعادتها بهذه الطريقة، كلما تمكنوا من استبدال الكثير من البيانات الموضوعة بتصنيف بالمهام مثل الترجمة.

في عام ٢٠١٨، قام فريق OpenAI بجمع هذين العنصرين، آلية الانتباه التي طورها بنجيو وزملاؤه، التي تتجول عبر العديد من النواتج الظاهرية للكلمات، وطريقة التدريب الغير مشروع المُسبقة لداي ولي، التي تسمح بمص الكميات الكبيرة المن النصوص، وضغطها وفك ضغطها لإعادة إنتاج النص الأصلي.

استخدموا محولًا قياسيًا وأطعموه محتويات BookCorpus ، وهو قاعدة بيانات compilated من قبل جامعة تورونتو و MIT تحتوي على أكثر من 7،000 نص منشور ليصبح إجمالي مليون كلمة ، بإجمالي 5 جيجابايت. تم تدريب GPT-1 لضغط وفك الضغط عن تلك الكتب.

هكذا بدأت تاريخ بيانات أكبر وأكبر لمدة ثلاث سنوات. فبناءً على فرضية الباحثين في OpenAI بأن المزيد من البيانات يجعل النموذج أدق، قاموا بدفع حدود ما يمكن للبرنامج امتصاصه. مع GPT-2، قاموا بتجاهل مجموعة بوككوربوس واعتماد مجموعة بيانات أصلية تتكون من ثمانية ملايين صفحة ويب تم سحبها من الروابط الخارجية على رديت، ما يبلغ حجم البيانات 40 غيغابايت.

تدريب GPT-3 لا يزال أكبر بكثير، ويتألف من مجموعة بيانات CommonCrawl الشهيرة لصفحات الويب من عام 2016 إلى عام 2019. يعادل حجمه النظرياً 45 تيرابايت من النصوص المضغوطة، على الرغم من أن OpenAI قامت بتنقيته لإزالة التكرارات وتحسين الجودة. الإصدار النهائي يحتوي على 570 غيغابايت من البيانات. أضافت OpenAI إليه مجموعة من مجموعات البيانات الإضافية من أنواع مختلفة، بما في ذلك بيانات الكتب.

كيف يعتمد GPT-3 على طاقة الحوسبة؟

مع وصول GPT-1 و GPT-2 و GPT-3 ، أصبحت مقدار الحوسبة عنصرًا أساسيًا للتقدم. تستخدم النماذج مزيدًا ومزيدًا من قدرة الكمبيوتر عند تدريبها لتحقيق نتائج أفضل.

ما يحسن الشبكة العصبية خلال التدريب هو ضبط أوزانها. الأوزان، والتي تشار إليها أيضًا بالمعاملات، هي مصفوفات، أي مصفوفات من صفوف وأعمدة تضرب بها كل متجه. من خلال الضرب، يتم إعطاء العديد من متجهات الكلمات أو شظايا الكلمات أوزانًا أكبر أو أقل في الناتج النهائي بينما يتم ضبط الشبكة العصبية لتقليل فجوة الخطأ.

اكتشفت شركة OpenAI أنه لكي تحقق نتائج جيدة في مجموعات البيانات الكبيرة الخاصة بها، كان عليها إضافة مزيد ومزيد من الأوزان.

محضر التحليلات الأولي من جوجل كان يحتوي على ١١٠ مليون وحدة. تبعه GPT-١ هذا التصميم. مع GPT-٢ ، تم زيادة العدد إلى ١.٥ مليار وحدة. مع GPT-٣، ازداد عدد المعلمات إلى ١٧٥ بليون وحدة ، مما يجعل GPT-٣ أكبر شبكة عصبية في العالم.

الضرب أمر بسيط ، ولكن عندما يتعين ضرب 175 مليار وزن بكل بت من بيانات الإدخال ، عبر مليارات من بايتات البيانات ، يصبح تمرينًا لا يصدق في معالجة الكمبيوتر المتوازي.

بالفعل مع GPT-1، في عام 2018، كانت OpenAI تدفع إلى حدود الحوسبة العملية. زيادة كمية البيانات يعني زيادة عدد وحدات معالجة الرسوميات. النماذج اللغوية السابقة كانت تتناسب مع وحدة معالجة رسومات واحدة لأن النماذج نفسها كانت صغيرة. استغرق تدريب GPT-1 شهرًا على ثماني وحدات معالجة رسومية تعمل بالتوازي.

مع GPT-3، كانت OpenAI قليلاً مُتحامِلة. لم تصف التكوين الدقيق للحاسوب المستخدم للتدريب، سوى أنه كان عبارة عن مجموعة من رقائق Nvidia V100 تعمل على Microsoft Azure. وعليه، صفت الشركة العدد الإجمالي لعمليات الحساب المطلوبة، مشيرة إلى أنه يعادل تشغيل ألف ترليون عملية عشرية مئوية في الثانية في كل يوم لمدة ٣٦٤٠ يومًا.

شركة صناعة الكمبيوتر ومشغل السحابة Lambda Computing قد قدّرت أنه سيستغرق عامين ليشغل بطاقة GPU واحدة هذا الكم من الحسابات، والذي سيكلف مبلغ 4.6 مليون دولار بسعر عادي للمثيلات القيمة المرجعية لبطاقات GPU في السحابة. وبعد ذلك هناك ذاكرة. لاستيعاب جميع القيم الوزنية يلزم ذاكرة أكبر وأكبر مع زيادة عدد المعلمات. المعلمات البالغ عددها 175 مليار من GPT-3 تحتاج إلى 700 جيجابايت، وهو عشرة أضعاف المساحة الحجمية لبطاقة واحدة من GPU.

إنه نوع من احتياجات الطاقة الهائلة التي تدفع مجال رقاقات الحاسوب قدمًا. لقد زاد سعر سهم Nvidia، المورد الرئيسي لمعالجات الرسوميات لتدريب الذكاء الاصطناعي، بما يقرب من 5000٪ خلال العشر سنوات الماضية. لقد أدى إلى ظهور مجموعة من الشركات الناشئة التي تدعمها مئات الملايين من الدولارات كتمويل رأس المال المغامرة، بما في ذلك Cerebras Systems وGraphcore وTachyum. ستستمر المنافسة في الازدهار طالما بقي بناء نماذج أكبر وأكبر هو مسار المجال.

قامت شركة OpenAI بإنتاج بحثها الخاص عن الطاقة المتصاعدة المطلوبة للكمبيوترات. لاحظت الشركة منذ عام 2018 أن دورات الحساب الخاصة بأكبر نماذج التدريب الذكاء الاصطناعي قد تضاعفت كل 3.4 أشهر منذ عام 2012، وهذا معدل أسرع من معدل نمو قاعدة ترانزيستورات الشريحة في قانون مور الشهير. (على سبيل العلم، أنتجت الشركة أيضًا بحثًا يُظهر أن النماذج الأكبر حجمًا في النهاية تكون أكثر كفاءة على أساس الوحدة من الشبكات العصبية السابقة التي قامت بنفس العمل.)

بالفعل، هناك نماذج قيد التطوير تستخدم أكثر من تريليون معلمة، وفقًا للشركات التي تم إطلاعها على مشاريع الذكاء الاصطناعي السرية. ومن المرجح أن هذا ليس الحد الأقصى، طالما أن شركات توسعية مثل جوجل على استعداد لتكريس مراكز بياناتها الضخمة لنماذج أكبر وأكبر. يتفق معظم العلماء في مجال الذكاء الاصطناعي على أن الأطراف الأضخم ستصبح السائدة في نماذج التعلم الآلي لفترة طويلة قادمة.

"من حيث التأثير على الذكاء الاصطناعي كمجال، الجزء الأكثر إثارة في GPT-3 هو أنه يظهر أننا لم نقترب كثيراً من حدود توسيع الذكاء الاصطناعي"، قال كيني دانيال، الرئيس التنفيذي لوكيل أدوات إدارة الذكاء الاصطناعي Algorithmia، لـ ZDNet.

بالإضافة إلى زيادة استخدام الحوسبة، سيكون للتأثير الكبير لـ GPT-3 تسريع عملية البرمجة وتطوير التطبيقات بشكل عام. عرض البرنامج JSX الذي قامت شميم ببنائه بكتابة عبارة بسيطة هو فقط بداية الأمر.

ما هي نقاط الضعف في GPT-3؟

على الرغم من التحسين الكبير عن النسخة السابقة، فإن GPT-3 لديه العديد من القيود، كما يشير المؤلفون أنفسهم. "على الرغم من أن الجودة عالية في المجمل، إلا أن عينات GPT-3 في بعض الأحيان تكرر نفسها بشكل معنوي على مستوى الوثيقة، وتبدأ في فقدان الترابط عند المقاطع الطويلة بما فيه الكفاية"، هذا ما يشير إليهم في الورقة المنشورة.

يعجز البرنامج أيضًا عن الأداء الممتاز في عدد من الاختبارات الفردية. "تحديدا، يعاني GPT-3 من صعوبة في الأسئلة من نوع 'إذا وضعت الجبن في الثلاجة، هل سيذوب؟'، وصف الكتاب المثال على الأشياء الشائعة التي تفلت من قدرة GPT-3 على الحس." يقول الكتاب.

كان هناك الكثير من الحماس بعد وقت قصير من إصدار GPT-3 حتى أن الرئيس التنفيذي للشركة، سام التمان، قال للناس علناً للتحكم في حماسهم.

"الضجة حول GPT-3 كثيرة جدًا" كتب آلتمان في تغريدة يوليو 19. "إنه مثير للإعجاب (شكرًا على الثناء الجميل!) ولكنه لا يزال يعاني من نقاط ضعف جادة ويصنع أخطاء سخيفة جدًا أحيانًا" كتب. "الذكاء الاصطناعي سيغير العالم ، لكن GPT-3 هو مجرد لمحة مبكرة جدًا. لا يزال علينا الكثير لنفهمه."

تضخيم GPT-3 أكثر من اللازم. إنه مذهل (شكرًا على الثناء الجميل!) ولكن لا يزال لديه نقاط ضعف جدية وفي بعض الأحيان يرتكب أخطاء سخيفة جدًا. الذكاء الاصطناعي سيغير العالم، ولكن GPT-3 مجرد انطباع مبكر جدًا. لدينا الكثير لا يزال يجب علينا أن نفهمه.

— سام ألتمان (@sama) 19 يوليو، 2020

قدم البعض الآخر خارج شركة OpenAI تقييمًا واقعيًا آخر. كتب ماكس وولف، المستخدم ذو الخبرة في عدة أجيال من GPT، على مدونته الشخصية أن GPT-3 أفضل من الماضي، ولكن فقط في المتوسط. هناك طيف من جودة النص المولد بحيث يبدو بعض الأمثلة المدهشة أثناء الاطلاع عليها، والآخرين ليسوا جيدين على الإطلاق. يشبه وولف GPT-3 بـ Siri لشركة Apple، التي لديها عادة مزعجة في إنتاج أشياء غير مرغوب فيها في كثير من الأحيان. (إن مقال وولف يستحق القراءة بالكامل لتحليله التفكيري لـ GPT-3.)

في الواقع، كلما قرأ المرء المزيد من أمثلة GPT-3، خاصة النصوص الطويلة، من المحتمل أن يتلاشى الحماس الأولي. يميل GPT-3 لفقدان الخيط الرئيسي على مدى فترات طويلة، كما يقولون. بغض النظر عن النوع أو المهمة، تصبح النصوص المخرجة متواصلة ومملة، مع ظهور تناقضات داخلية في السرد.

بعض المبرمجين، على الرغم من حماسهم، قد قاموا بتصنيف العديد من النقاص، مثل محاولات GPT-3 الفاشلة في صنع نكت الأب. عند إدخال إعداد نكتة الأب على النحو التالي "ماذا قال طبق للآخر؟"، يكون الجواب الصحيح للنكتة الأب "العشاء على نفقتي!" ولكن قد يرد GPT-3 بدلاً من ذلك بإجابة غير مضحكة "غمسني!"

الإدخال المقدم من قبل الإنسان: س1. ماذا قالت صحنة للصحنة الأخرى؟

GPT-3 تكملة تم إنشاؤها: أ. غمسني!

في حين يمكن لـ GPT-3 الإجابة على أسئلة مفترضة معقولة، مثل عدد عيون الزرافة، إلا أنه لا يمكنه التصدي لسؤال غير منطقي ويتم إقناعه بتقديم إجابة غير منطقية. عندما يتم سؤاله "كم عدد عيون قدمي؟" ، سيجيب بانضباط قائلاً "قدمي لديها عينين".

طريقة واحدة للتفكير في كل هذا العادية هو أن الحصول على نتائج جيدة من GPT-3 يتطلب إلى حد ما الاستثمار في إنشاء إشارات فعالة. بعض الإشارات المبتكرة من قبل الإنسان ستحرض البرنامج على الحصول على نتائج أفضل من بعض الإشارات الأخرى. إنها نسخة جديدة من قول " القمامة داخل، قمامة خارج". يبدو أن الإشارات قد تصبح مجالًا جديدًا في برمجة الحاسب ذاتها، تتطلب كلاً من الحنكة والبراعة.

التحيز هو اعتبار كبير، ليس فقط مع GPT-3 ولكن مع جميع البرامج التي تعتمد على التوزيع الشرطي. النهج الأساسي للبرنامج هو إعادة ما تم وضعه فيه تمامًا، مثل المرآة. هذا لديه القدرة على تكرار التحيزات في البيانات. هناك بالفعل مناقشة علمية حول وجود تحيز شامل في GPT-2.

با GPT-3 ، أطلقت عالمة الذكاء الاصطناعي في نفيديا Anima Anandkumar نداء الإنذار بأن الاتجاه إلى إنتاج نتائج متحيزة ، بما في ذلك النتائج العنصرية والجنسانية ، لا يزال قائماً.

أشعر بقلق لرؤية هذا الإصدار بدون أي مساءلة بشأن التحيز. تم تدريب هذا على مجموعة بيانات @reddit التي تحتوي على كم هائل من #العنصرية و #التحيز الجنسي. لقد عملت مع هذه النماذج وكان النص الذي تنتجه متحيزًا بشكل مدهش. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— د. أنيما أناندكومار (@AnimaAnandkumar) 11 يونيو 2020

سئلت عن انتقادات آناندكومار ، أخبرتها OpenAI "كما هو الحال مع جميع النماذج الإنتاجية القوية المتزايدة ، العدالة وسوء الاستخدام هما قلقان لدينا".

ويعتبر OpenAI أن "هذا أحد الأسباب التي نشارك بها هذه التكنولوجيا عبر واجهة برمجة التطبيقات ونبدأ بالإطلاق التجريبي الخاص"، وتشير الشركة إلى أنها "لن تدعم حالات الاستخدام التي نعتبرها تسبب أذى جسديا أو عقليا للأشخاص، بما في ذلك ولكن لا يقتصر على التحرش، والخداع العنيف، والتطرف، وعمليات البيع المضادة الاحترافية أو البريد المزعج."

أفادت شركة OpenAI ZDNet أنها تستخدم نوعًا مألوفًا من اللعب الحربي بين القبعات البيضاء والقبعات السوداء لاكتشاف المخاطر في البرنامج:

لقد نفذنا ما نسميه فريق "الفريق الأحمر" والذي يتولى مهمة تكسير نظام تصفية المحتوى بشكل مستمر حتى نتعلم المزيد عن كيفية ولماذا يسترجع النموذج نتائج سيئة. وفريق "الفريق الأزرق" هو نظيره، حيث يتولى مهمة قياس وتقليل التحيزات.

مشكلة أخرى كبيرة هي الطبيعة الشاملة والمنخفضة المستوى لـ GPT-3 ، حيث أنه يعزز فقط الجزء الأكبر من منحنى الاحتمالات المشروطة. هناك ما يعرف بـ الذيل الطويل، وأحيانًا الذيل السميك لتوزيع الاحتمالات. هذه هي الحالات الأقل شيوعًا التي قد تشكل أكثر أمثلة الابتكار لاستخدام اللغة. التركيز على المراهنة على أبرز النصوص في المجتمع قد يؤدي إلى احتجاز الإبداع والاستكشاف.

في الوقت الحالي، إجابة OpenAI على هذه المشكلة هي إعداد يمكن تعديله في GPT-3 يسمى "قيمة الحرارة". يجبل لكن، التلاعب بهذه القيمة سيعدل GPT-3 لاختيار تركيبات الكلمات غير المحتملة وبالتالي إنتاج نص أكثر غرابةً ربما.

مشكلة أكثر استعجالًا للشركات هي عدم إمكانية ضبط GPT-3 باستخدام بيانات خاصة بالشركة. من الصعب تخصيص GPT-3 لمجال صناعي معين بدون القدرة على ضبط أي شيء. قد يكون أي شركة تستخدم خدمة واجهة برمجة التطبيقات (API) مضطرة لمعالجة النصوص بشكل إضافي لجعلها قابلة للتطبيق في مجال معين. ربما ستظهر شركات ناشئة مثل Sapling كنظام بيئي، يعادل مقدمي الحلول المتكاملة (VARs)، لحل هذه المشكلة. ربما، ولكن ذلك لا يزال في حكم الإنتظار.

إن تلك المشكلة ليست مثيرة للقلق فحسب ؛ بل هناك قضية أخرى وهي أن GPT-3 كخدمة سحابية هو علبة سوداء. ما يعني ذلك هو أن الشركات التي تستخدم الخدمة ليس لديها فكرة عن كيفية الوصول إلى النتائج -- وهذا أمر حساس خاصة عند النظر في مسائل التحيز. قد يضيف نظام من الأطراف مثل شركة سابلينج الذين يعززون GPT-3 طبقات إضافية من الغموض في نفس الوقت الذي يعززون فيه الخدمة.

كجزء فرعي من مسألة "صندوق الأسود"، يمكن لـ GPT-3 في بعض الحالات مجرد حفظ ما امتصه من الويب. وهذا يثير قضايا حقوق الملكية الفكرية. إذا قامت شركة بأخذ المخرجات من خدمة واجهة برمجة التطبيقات التي تحتوي على مواد محمية بحقوق الملكية، فقد تنتهك شركة تلك حقوق الملكية التابعة لجهة أخرى. واستفسرت ZDNet من OpenAI بشأن حقوق الملكية الفكرية، وأفادت OpenAI أن حقوق التأليف والنشر للنص المنشأ بواسطة GPT-3 "تنتمي إلى المستخدم، وليس ل OpenAI". وما يعنيه ذلك في الواقع يبقى مجهولًا.

في الوقت الحالي ، أكبر نقص عملي هو الحجم المطلوب لتدريب وتشغيل GPT-3. OpenAI تذكر الكثير من ذلك في الورقة الرسمية. يكتب الكتّاب أنه يجب القيام بعمل لحساب كيف يتم استهلاك تكلفة النماذج الكبيرة على مر الزمن بناءً على قيمة الناتج المُنتج.

أيضًا: لا ، هذا الذكاء الاصطناعي لا يستطيع إنهاء جملتك

هل يتعلم GPT-3 حقًا؟

باستخدام المعنى الضيق للكلمة ، فإن GPT-3 يتعلم في الحساب الذي يتم فيه ضبط أوزان المعلمة الخاصة به تلقائيًا عن طريق استيعاب البيانات التدريبية بحيث ينتهي النموذج اللغوي بشكل أفضل مما يمكن أن يقدمه برمجته الصريحة وحدها. في هذا الصدد ، فإن GPT-3 هو تقدم في السعي لفترة طويلة من الزمن للحصول على جهاز كمبيوتر يمكنه تعلم وظيفة لتحويل البيانات دون عناء بشري في تشفير تلك الوظيفة بصورة واضحة.

قد يسأل أحدهم هل الجهاز حقًا ذكي أم يتعلم حقًا. هناك العديد من الطرق للنقاش في هذا الموضوع، ولكن الانعكاس العابر يشير إلى أن الكثير مما يمكن أن نسميه الفكر البشري لا يحدث هنا.

تخيل إذا كنت قادرًا على استيعاب نسبة عدد الكلمات المحتملة للظهور معًا في عقلك. هل ستقول أن قدرتك على تكوين عبارات وجمل وفقرات ونصوص كاملة كانت متأملة؟ ربما ستقول أنها مجرد ترتيب إحصائي، وأن شيئًا آخر يفتقر.

تمت مقارنات بين التعلّم العميق و Fayrouz الشهيرة ، وهو حصان ألماني قام سيده بإظهار قدرته على القيام بعمليات حسابية بأصابع قدميه في العلن. وتم اكتشاف لاحقًا أن Fayrouz كان يستجيب لتلميحات جسدية من سيده ليدوس بحافره ، وأنه بدون هذه التلميحات كان غير قادر على الأداء.

على نفس النحو، تنهار جودة البشرية في جي بي تي-3 عند الفحص الدقيق. عندما يجيب جي بي تي-3 بشكل صحيح على سؤال صح أو خطأ حول مقالة عن العقارات في نيويورك، ليس ذلك لأن البرنامج يعرف عن العقارات أو نيويورك. إنه قد حفظ التوزيع الاحتمالي الذي يلتقط الادعاءات في النصوص وتنسيق زوج البيانات-السؤال، ويمكنه تكرارها في الإخراج.

هانز لم يكن يعرف شيئًا عن الحساب، على الرغم من ذلك، يتمتع هانز بذكاء. في حالة الشبكات العصبية، سوف يقول النقاد أن هناك فقط الحيل هنا، بدون أي ذكاء.

مع ذلك ، يمكن أن تعني الذكاء والتعلم أشياء عديدة ، وقد تغيرت شروط المطلوب لتكون الذكاء الاصطناعي على مر السنين ، كما أشارت باسلاما ماكوردوك ، مؤرخة في هذا المجال. قد يجادل البعض في أن برنامجًا قادرًا على حساب الاحتمالات عبر مجاميع ضخمة من النصوص قد يكون نوعًا مختلفًا من الذكاء ، ربما يكون ذكاءًا فضائيًا غير تابع لنا. التجاهل به يبدو مبكرًا.

علاوةً على ذلك، تعتبر الشبكات العصبية التي تؤدي إلى هذه الاحتماليات الشرطية أكثر من مجرد برامج إحصائية. حساباتها هي نتيجة خاصية ظهورية لعمليات رياضية متعددة تحدث بشكل متزامن، وضبط أوزان المعاملات. إذا كان بالإمكان اعتبار أشكالًا أخرى من الذكاء، فقد يكون للخاصية الظاهرة مثل التمثيلات الموزعة التي تتشكل داخل الشبكات العصبية مكان للبحث عنها.

ما هو مستقبل GPT-3؟

شيء واحد يبدو مؤكدًا: فقد فتحت GPT-3 فصلاً جديدًا في التعلم الآلي. أبرز ميزة لها هي تعميمها. قبل سنوات قليلة فقط ، تم بناء الشبكات العصبية باستخدام وظائف مضبوطة لمهمة محددة ، مثل الترجمة أو الإجابة على الأسئلة. تم تجميع مجموعات البيانات لتعكس تلك المهمة. على عكس ذلك ، GPT-3 ليست لديها وظائف متخصصة للمهمة ، ولا تحتاج إلى مجموعة بيانات خاصة بها. بل يبتلع ببساطة أكبر قدر ممكن من النصوص من أي مكان ويعكسها في الناتج الخاص بها.

على نحو ما، في حساب التوزيع الاحتمالي المشروط عبر هذه الجيغابايتات من النصوص، يظهر وظيفة يمكنها إنتاج إجابات تنافسية في أي عدد من المهام. إنه انتصار رائع للبساطة الذي ربما يحظى بسنوات عديدة من الإنجازات في المستقبل.

حتى هذا التعميم، ومع ذلك، قد يصل إلى حده. بالفعل، يلاحظ كتاب GPT-3 في نهاية ورقته أن الاتجاه المسبق للتدريب قد يصل في النهاية إلى حدوده. "إحدى القيود الأساسية الأكثر أهمية للنهج العام الموصوف في هذه الورقة [...] هو أنه قد يصل في النهاية إلى حدود هدف التدريب المسبق، أو قد يكون قد بلغها بالفعل."

يقترح الكتاب اتجاهات جديدة واعدة قد تشمل "تعلم الوظيفة المحددة من البشر" ، ودمج أنواع أخرى من التعلم العميق ، مثل النهج "التعلم المكافأة" المستخدم في AlphaZero التابعة لشركة DeepMind للفوز في الشطرنج والغو. (لقد بدأوا بالفعل في تنفيذ مثل هذه النهج. في أوائل سبتمبر ، أظهر مؤلفو OpenAI أنهم يمكنهم استخدام التعلم المكافأة لتدريب GPT-3 لإنتاج ملخصات أفضل للمقالات من خلال إعطاء نموذج اللغة بعض ردود الفعل البشرية حول أي من الملخصات تبدو أفضل.)

شيء آخر يقترحونه هو إضافة أنواع بيانات أخرى، مثل الصور، لملء "نموذج العالم" للبرنامج.

في الواقع، من المرجح أن تشهد السنوات القادمة انتشار هذا النهج العام إلى وسائل أخرى غير النص، مثل الصور والفيديو. تخيل برنامجًا مثل GPT-3 الذي يستطيع ترجمة الصور إلى كلمات والعكس بدون أي خوارزمية محددة لنمذجة العلاقة بينهما. فهو يمكنه "تعلم" وصف المشاهد النصية من الصور مثلاً أو توقع تسلسلات الأحداث المادية من وصفات النص.

مدير الذكاء الاصطناعي في فيسبوك، يان لوكون، قد قام بإعطاء حجة بأن التدريب غير المشروف بأشكاله المختلفة هو مستقبل التعلم العميق. إذا كان هذا صحيحًا، يمكن اعتبار نهج التدريب الأولي المطبق على عدة وسائط للبيانات، من الصوت إلى النص إلى الصور إلى الفيديو، كاتجاه واعد للموجة الغير المشروفة.