تحليل معمارية شبكة Mellanox لدعم تدريب نماذج الذكاء الاصطناعي الكبيرة

ملخص: مع انفجار متطلبات الحوسبة للذكاء الاصطناعي، أصبحت الشبكة هي عنق الزجاجة الحيوية. يتعمق هذا التحليل في كيفية قيام تقنيات شبكات GPU المتقدمة من Mellanox InfiniBand بهندسة النسيج عالي الأداء ومنخفض الكمون والضروري لـ تدريب نماذج الذكاء الاصطناعي بكفاءة وقابلية للتوسع للنماذج اللغوية الكبيرة والشبكات العصبية المعقدة الأخرى.

تحول نموذج تدريب نماذج الذكاء الاصطناعي من إعدادات الخادم الواحد إلى عمليات حسابية متوازية على نطاق واسع عبر آلاف وحدات معالجة الرسومات. في هذه المجموعات الموزعة، غالبًا ما تتجاوز المدة الزمنية التي يتم قضاؤها في نقل البيانات بين وحدات معالجة الرسومات الوقت الذي يتم قضاؤه في الحساب الفعلي. تشير تحليلات الصناعة إلى أنه بالنسبة للمجموعات واسعة النطاق، يمكن أن تؤدي اختناقات الشبكة إلى انخفاض معدلات استخدام وحدة معالجة الرسومات إلى أقل من 50٪، مما يمثل إهدارًا كبيرًا لموارد الحوسبة والاستثمار الرأسمالي. لم تعد شبكات GPU الفعالة رفاهية؛ إنها الدعامة الأساسية لتحقيق أداء عالٍ وعائد على الاستثمار.

تم تصميم تقنية Mellanox (الآن جزء من NVIDIA) InfiniBand من الألف إلى الياء لتلبية المتطلبات الصارمة للحوسبة عالية الأداء والذكاء الاصطناعي. توفر بنيتها العديد من المزايا الرئيسية على شبكة إيثرنت التقليدية لتوصيل وحدات معالجة الرسومات:

• زمن انتقال منخفض للغاية: زمن انتقال شامل أقل من 600 نانوثانية، مما يقلل بشكل كبير من أوقات انتظار الاتصال بين العقد.
• نطاق ترددي عالي: يدعم سرعات 200 جيجابت/ثانية (HDR) و 400 جيجابت/ثانية (NDR) لكل منفذ، مما يضمن تدفق البيانات إلى وحدات معالجة الرسومات دون انقطاع.
• الوصول المباشر إلى الذاكرة عن بعد (RDMA): يسمح لوحدات معالجة الرسومات في خوادم مختلفة بالقراءة من ذاكرة بعضها البعض والكتابة إليها مباشرة، متجاوزًا وحدة المعالجة المركزية ونواة نظام التشغيل. هذا "تجاوز النواة" يقلل بشكل كبير من النفقات العامة وزمن الوصول.

بالإضافة إلى السرعة الخام، تشتمل Mellanox InfiniBand على تقنيات متطورة ضرورية لمهام تدريب نماذج الذكاء الاصطناعي واسعة النطاق.

SHARP هي تقنية حوسبة ثورية داخل الشبكة. بدلاً من إرسال جميع البيانات مرة أخرى إلى عقدة حسابية للتجميع (على سبيل المثال، في جميع عمليات التخفيض الشائعة في التدريب)، يقوم SHARP بإجراء عملية التجميع داخل مفاتيح الشبكة نفسها. يؤدي هذا إلى تقليل حجم البيانات التي تعبر الشبكة بشكل كبير ويقلل من وقت الاتصال الجماعي بنسبة تصل إلى 50٪، مما يؤدي مباشرة إلى تسريع الجداول الزمنية للتدريب.

تستخدم نسيج InfiniBand التوجيه التكيفي لتوزيع حركة المرور ديناميكيًا عبر مسارات متعددة، مما يمنع النقاط الساخنة وازدحام الارتباط. جنبًا إلى جنب مع آليات التحكم في الازدحام المتقدمة، يضمن ذلك تسليم البيانات بشكل يمكن التنبؤ به وفعال حتى في أنماط الاتصال غير الموحدة النموذجية لأحمال عمل الذكاء الاصطناعي.

تترجم فوائد نسيج InfiniBand مباشرة إلى نتائج نهائية لمشاريع الذكاء الاصطناعي. يوضح الجدول التالي التحسينات النموذجية في الأداء التي لوحظت في بيئات التدريب واسعة النطاق:

بالنسبة للمؤسسات ومؤسسات الأبحاث الجادة بشأن تجاوز حدود الذكاء الاصطناعي، فإن الاستثمار في شبكة عالية الأداء أمر بالغ الأهمية مثل الاستثمار في وحدات معالجة الرسومات القوية. Mellanox InfiniBand يوفر بنية قابلة للتطوير ومثبتة تزيل عنق الزجاجة في الشبكة، وتزيد من استثمار وحدة معالجة الرسومات، وتقصر بشكل كبير دورة التطوير لنماذج الذكاء الاصطناعي الجديدة. من خلال تمكين التكرار بشكل أسرع والتجارب الأكثر تعقيدًا، فإنه يوفر ميزة تنافسية ملموسة في سباق الابتكار في مجال الذكاء الاصطناعي.

لمعرفة المزيد حول كيفية قيام حلول شبكات GPU Mellanox InfiniBand بتحسين البنية التحتية لـ تدريب نماذج الذكاء الاصطناعي، نوصي بالتشاور مع شريك شبكات NVIDIA المعتمد. اطلب مراجعة معمارية مخصصة لنمذجة مكاسب الأداء والكفاءة التي يمكن أن تحققها أحمال العمل المحددة الخاصة بك.