تم إصدار سبع نماذج مجانية ومفتوحة المصدر من GPT

شركة الذكاء الاصطناعي Cerebras التابعة لوادي سيليكون أصدرت سبعة نماذج GPT مفتوحة المصدر لتوفير بديل للأنظمة المحكومة بصرامة والمملوكة المتاحة حاليًا.

تم إصدار نماذج GPT ذات المصدر المفتوح وخالية من الحقوق، بما في ذلك الأوزان وفقًا لتعليمات التدريب، بترخيص Apache 2.0 السخي جدًا من قبل شركة سيريبراس، وهي شركة متخصصة في البنية التحتية للذكاء الاصطناعي وتطبيقاته في وادي السيليكون.

إلى حد ما ، النماذج السبعة لـ GPT هي دليل على مفهوم كمبيوتر Cerebras Andromeda AI الفائق.

تتيح البنية التحتية لشركة Cerebras لعملائها ، مثل Jasper AI Copywriter، تدريب نماذج لغة مخصصة بسرعة.

تنويه مقال حول تكنولوجيا الأجهزة في مدونة سيربراس:

"لقد قمنا بتدريب جميع نماذج Cerebras-GPT على مجموعة Cerebras Wafer-Scale Cluster بحجم 16x CS-2 تسمى أندروميدا."

تمكنت المجموعة من إكمال جميع التجارب بسرعة، دون الحاجة إلى هندسة الأنظمة الموزعة التقليدية ومزامنة النماذج الموازية المطلوبة على مجموعات وحدات المعالجة المركزية.

الأهم من ذلك، فقد مكن باحثينا من التركيز على تصميم الذكاء الاصطناعي بدلاً من النظام الموزع. نحن نعتقد أن القدرة على تدريب النماذج الكبيرة بسهولة هي من العوامل المحفزة الرئيسية للمجتمع العلمي، لذلك قمنا بتوفير Cerebras Wafer-Scale Cluster في السحابة من خلال Cerebras AI Model Studio."

نماذج Cerebras GPT والشفافية

سيريبراس يشير إلى تركيز ملكية تكنولوجيا الذكاء الاصطناعي في عدد قليل من الشركات كسبب لإنشاء سبعة نماذج GPT مفتوحة المصدر.

تحتفظ OpenAI، Meta و Deepmind بكمية كبيرة من المعلومات حول أنظمتها بشكل خاص ويتم ضبطها بشكل صارم، مما يقيد الابتكار إلى ما تقرره الشركات الثلاث للآخرين بشأن استخدام بياناتهم.

هل النظام ذو المصدر المغلق هو الأفضل للابتكار في الذكاء الاصطناعي؟ أم أن المصدر المفتوح هو المستقبل؟

سيريبراس يكتب:

"لكي يكون الأنظمة التعلم الآلي مفتوحة وقابلة للوصول، فإننا نعتقد أنه من المهم أن يكون لدينا الوصول إلى نماذج متطورة وقابلة لإعادة التوضيح وخالية من الحقوق لكل من التطبيقات البحثية والتجارية."

"وبهذا الصدد، قمنا بتدريب عائلة من نماذج الترانسفورمر باستخدام أحدث التقنيات وقواعد البيانات المفتوحة والتي نسميها Cerebras-GPT."

"تلك النماذج هي أول عائلة من نماذج GPT تم تدريبها باستخدام صيغة Chinchilla وتم إصدارها بترخيص Apache 2.0."

بالتالي، تم إصدار هذه النماذج السبع على Hugging Face و GitHub لتشجيع المزيد من الأبحاث من خلال الوصول المفتوح إلى تكنولوجيا الذكاء الاصطناعي.

تم تدريب هذه النماذج باستخدام جهاز الكمبيوتر العملاق Andromeda AI من Cerebras، وهو عملية استغرقت فقط أسابيع لإكمالها.

Cerebras-GPT هو مفتوح تمامًا وشفاف ، على عكس آخر نماذج GPT من OpenAI (GPT-4) و Deepmind و Meta OPT.

لا تقدم OpenAI و Deepmind Chinchilla تراخيص لاستخدام النماذج. تقدم Meta OPT فقط ترخيصًا غير تجاريًا.

ليس لدى GPT-4 من OpenAI أي شفافية تامة حول بيانات التدريب الخاصة بهم. هل استخدموا بيانات Common Crawl؟ هل قاموا بجمع البيانات من الإنترنت وإنشاء قاعدة بيانات خاصة بهم؟

تحتفظ OpenAI بهذه المعلومات (وغيرها) كسر نظام مقارنةً بطريقة النهج Cerebras-GPT التي تعتبر شفافة بشكل كامل.

المتاح والشفاف فيما يلي:

• هندسة النموذج
• بيانات التدريب
• أوزان النموذج
• نقاط الفحص
• حالة التدريب المتمثلة في أقصى استفادة من الحوسبة (نعم)
• ترخيص الاستخدام: ترخيص Apache 2.0

تتوفر النسخ السبعة بسعات 111 مليون، 256 مليون، 590 مليون، 1.3 بليون، 2.7 بليون، 6.7 بليون و 13 بليون موديل.

تم الإعلان عن: