تحليل معمارية شبكة Mellanox لدعم تدريب نماذج الذكاء الاصطناعي الكبيرة

التاريخ:18 نوفمبر 2023

مع نمو نماذج الذكاء الاصطناعي بشكل كبير في الحجم والتعقيد ، أصبحت نسيج الشبكة الذي يربط الآلاف من وحدات المعالجة المركزية عاملًا حاسمًا في كفاءة التدريب.ميلانوكس InfiniBandلقد ظهرت التكنولوجيا كعمود رئيسي أساسي لمجموعات الحوسبة الفائقة الحديثة للذكاء الاصطناعي، مصممة خصيصًا للتغلب على اختناقات الاتصالات التي تعاني منهاتدريب نموذج الذكاء الاصطناعيهذه المقالة تفكك الابتكارات المعمارية التي تجعل من InfiniBand المعيار الفعلي لتسريع أعباء العمل الأكثر تطلباً في العالم.

حديثةتدريب نموذج الذكاء الاصطناعي، مثل نماذج اللغة الكبيرة (LLMs) ، تعتمد على استراتيجيات الموازية للبيانات حيث يتم مزامنة معايير النموذج عبر الآلاف من وحدات المعالجة المركزية بعد معالجة كل دفعة صغيرة من البيانات.الوقت الذي يقضيه في مرحلة التزامن هذه، والمعروفة باسم الحد من كل شيء، هو مجرد فوق.شبكات GPU، يمكن أن يستهلك هذا التكلفة العامة للاتصالات أكثر من 50٪ من دورة التدريب الإجمالية، مما يقلل بشكل كبير من الاستخدام الكلي لـ GPU ويمدد وقت البصيرة من أسابيع إلى أشهر.الشبكة لم تعد مجرد أنبوب بيانات؛ هو عنصر حاسوبي أساسي.

ميلانوكس InfiniBandيعالج هذه الحاجة مباشرة مع مجموعة من محركات التسارع القائمة على الأجهزة التي تحول الشبكة من المشارك السلبي إلى أصل حاسوبي نشط.

• SHARP (بروتوكول تجميع وتقليل هرمي قابل للتوسع):تقوم هذه التكنولوجيا الثورية بعمليات تجميع (مثل المبالغ والمتوسطات) مباشرة داخل مفاتيح InfiniBand. بدلاً من إرسال جميع بيانات التدرج مرة أخرى إلى كل GPU،SHARP يقلل من البيانات في نسيج الشبكة، مما يقلل بشكل كبير من حجم البيانات المنقولة والوقت اللازم للتزامن. وهذا يمكن أن يسرع العمليات الجماعية بنسبة تصل إلى 50٪.
• التوجيه التكيفي ومراقبة الازدحام:إمكانيات التوجيه الديناميكية لـ (إنفيني باند) تقود حركة المرور تلقائيًا حول النقاط الساخنة المزدحمة،ضمان الاستخدام الموحد لنسيج الشبكة ومنع أي وصلة واحدة من أن تصبح عنق الزجاجة خلال مراحل الاتصالات المكثفة بين الجميع.
• تأخير منخفض للغاية و عرض النطاق الترددي العالي:مع تأخير من نهاية إلى نهاية أقل من 600 نانو ثانية ودعم 400 جيجابايت في الثانية وما فوق،ميلانوكس InfiniBandيوفر السرعة الخام اللازمة لتبادل المعلمات في الوقت الحقيقي تقريبًا بين GPUs.

تترجم المزايا المعمارية لـ InfiniBand مباشرة إلى نتائج أعمال وأبحاث متفوقة للمؤسسات التي تعمل بحملات عمل الذكاء الاصطناعي واسعة النطاق.

هذه المقاييس تظهر أنشبكات GPUالاستراتيجية ليست ترفًا بل ضرورة لتحقيق عائد استثماري قابل للحياة على استثمارات مجموعة الذكاء الاصطناعي بملايين الدولارات.

عصر تصميم مراكز البيانات ذات الأغراض العامة ينتهي للبحث عن الذكاء الاصطناعي.تدريب نموذج الذكاء الاصطناعييتطلب نهجًا مشتركًا تم تصميمه حيث تتطابق قوة الحوسبة لـ GPUs مع الشبكات الذكية والمتسارعة لـميلانوكس InfiniBandمن خلال تقليل تكاليف الاتصالات وتعظيم استغلال معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالوتحقيق نطاقات من المستحيل في السابق من الذكاء الاصطناعيإنها الأساس الضروري للجيل القادم من اختراقات الذكاء الاصطناعي.