المرجع الفني لمفتاح NVIDIA Mellanox MQM8790-HS2F InfiniBand

هذه الورقة البيضاء التقنية مخصصة لمهندسي شبكات، مهندسي ما قبل المبيعات، ومدراء العمليات.NVIDIA Mellanox MQM8790-HS2Fمفتاح InfiniBand، فإنه يوفر مرجع مفصل لتصميم، ونشر،وتشغيل الأقمشة عالية الأداء التي تخدم تدريب الذكاء الاصطناعي على نطاق واسع ومحاكاة HPC مع التركيز على تسارع RDMA والاتصالات الحاسمة منخفضة الكمون.

الحملات العاملة الحديثة للذكاء الاصطناعي والحوسبة العالية تدفع مجموعات GPU نحو عشرات الآلاف من العقد.يظهر عدم الاتساق في الأداء تحت أنماط الإصدار الداخلي ويعاني من ارتفاع تكاليف وحدة المعالجة المركزيةتتضمن المتطلبات الرئيسية للجيل القادم من اتصالات التواصل بين المجموعات:

• فترة تأخير نقطة إلى نقطة أقل من ميكرو ثانية للعمليات الجماعية المزامنة
• النقل بدون خسائر وبدون ازدحام لمنع المتخلفين
• الإفراج الكامل عن معالجة الاتصالات من نواة وحدة المعالجة المركزية / وحدة المعالجة المركزية
• طوبولوجيا الشجرة الدهنية القابلة للتوسع أو الدبابيس + مع عرض النطاق الترددي غير الممنوع
• مسار هجرة فعال من حيث التكلفة من نظارات 100G / 200G الحالية

معالجة هذه المطالب،MQM8790-HS2F مفتاح InfiniBandيوفر 200 جيجابايت في الثانية HDR لكل منفذ ، 40 منفذ QSFP56 لكل وحدة ، ودعم أصلي ل RDMA وحوسبة الشبكة.تم تصميم هذا الحل خصيصًا للبيئات التي تترجم فيها كفاءة الترابط مباشرة إلى وقت الانتهاء من العمل و TCO.

الطوبولوجيا الفيزيائية الموصى بها لمجموعات الذكاء الاصطناعي / HPC باستخدامNVIDIA Mellanox MQM8790-HS2Fهي شجرة الدهون ذات مستويين أو ثلاثة مستويات (المعروفة أيضًا باسم العمود الفقري للورقة). يتصل كل مفتاح ورقة بخوادم GPU عبر روابط HDR أو HDR100 ، بينما يوفر مفاتيح العمود الفقري اتصال شبكي كامل بين الأوراق.يستخدم تكوين 800GPU نموذجي:

• 20 مفاتيح ورقة: كل واحدةMQM8790-HS2F 200Gb / s HDR 40 منفذ QSFP56خدمة ما يصل إلى 20 خادمًا (اتصالات مزدوجة السكة الحديدية)
• 4 مفاتيح العمود الفقري: مترابطة بالكامل مع الأوراق باستخدام 200Gb / s uplinks
• نسبة عدم الحجب 1: 1 في كل مستوى

بالنسبة للمجموعات الكبيرة (2,000 + GPUs) ، تضيف بنية ثلاثية المستويات طبقة عمودية فائقة.يتم التعامل مع جميع إدارة الأقمشة من قبل مدير الشبكة الفرعية (SM) إما تشغيل على وحدة تحكم مخصصة أو مضمنة في برنامج التشغيل المباشر للأقمشة الأصغر.

داخل هذه الهندسة المعماريةMQM8790-HS2Fبمثابة العنصر الأوراق والعمود الفقري. وتشمل مميزاتها الأساسية:

• 200 جيجابايت في الثانية HDR لكل منفذ:سعة كاملة ثنائية الاتجاه مع 16Tb / s إجمالي القدرة على التبديل غير الحاجز
• التوجيه التكيفي (AR):توزيع حركة المرور بشكل ديناميكي عبر مسارات متعددة لتجنب النقاط الساخنة ، وهو أمر بالغ الأهمية لكفاءة شجرة الدهون
• SHARPv2 (بروتوكول تجميع وتقليل هرمي قابل للتوسع):تحميل العمليات الجماعية (All-Reduce ، Reduce-Scatter) مباشرة إلى شبكة التبديل ، مما يقلل من وقت التوقف في GPU
• مراقبة الازدحام:تحكم تدفق الحبيبات الدقيقة مع آليات FECN / BECN يضمن عدم فقدان النسيج
• كثافة الميناء العالية:40 منفذ QSFP56 لكل هيكل 1U ، لتبسيط تخطيط الرف وتقليل تعقيد الكابلات بين الرف

يمكن للمهندسين الإشارة إلىورقة بيانات MQM8790-HS2Fومواصفات MQM8790-HS2Fلمعلومات مفصلة عن الطاقة، الحرارية، وأرقام التأخير.متوافق مع MQM8790-HS2Fمع مجموعة واسعة من البصريات HDR و HDR100، وحتى EDR، مما يتيح التحديثات التدريجية.

بالنسبة لمجموعة الذكاء الاصطناعي متوازنة 1000 GPU ، يوصى بالترتيب التالي للتنفيذ:

• الخطوة 1 ‬ طبقة الأوراق:تثبيت 25xMQM8790-HS2Fوحدات مثل مفاتيح الأوراق. قم بتوصيل كل خادم GPU (8 GPU لكل خادم) عبر منفذين HDR إلى اثنين من الأوراق المختلفة من أجل الازدحام وعرض النطاق الترددي.
• الخطوة الثانية: طبقة العمود الفقريقم بنشر 8xNVIDIA Mellanox MQM8790-HS2Fكما المفاتيح العمود الفقري. ربط كل ورقة إلى كل العمود الفقري باستخدام 200Gb / s روابط (40 روابط صعودية لكل ورقة، ولكن عادة ما تكون مجموعة فرعية كافية للحفاظ على نسبة حجب ≤1: 1.
• الخطوة الثالثة: وضع مدير الشبكة الفرعيةتشغيل حالات SM الزائدة على خادمين خفيفي الوزن أو استخدام SM المضمنة لمجموعات أقل من 2000 منفذ.
• الخطوة الرابعة:استخدم قسمات InfiniBand لعزل تدفقات حركة الإنتاج والتطوير والتخزين عبر نفس النسيج المادي.

للتوسع إلى 2500 + GPUs، إضافة طبقة عمود الفقري فائقة باستخدام وحدات إضافية MQM8790-HS2F وزيادة كثافة الورقة إلى العمود الفقري.MQM8790-HS2F حل مفتاح InfiniBandتتدرج بشكل خطي دون إعادة تصميم النواة.

التشغيل اليومي للأنسجة المبنية علىMQM8790-HS2Fيتم إدارة المفاتيح من خلال NVIDIA® Fabric Manager و MLNX‐OS. تشمل الممارسات الرئيسية:

• المراقبة:استخدام `ibdiagnet` للتحقق من صحة الطوبولوجيا، `perfquery` لمعايير الموانئ، وألواح Grafana مع مصدري Prometheus للقياس عن بعد في الوقت الحقيقي (استخدام الرابط، أخطاء الرمز، علامات الازدحام).
• البرمجيات والبرمجيات:الحفاظ على البرمجيات الثابتة على جميع المفاتيح. الرجوع إلى أحدث ملاحظات الإصدار فيورقة بيانات MQM8790-HS2Fمن أجل التوافق بين الإصدارات
• إصلاح الأخطاءيتم عزل المشكلات الشائعة ▽ فلاپ الرابط، MTU غير متطابقة، أو تشكيل خطأ الحصة بسرعة باستخدام `ibstatus`، `smpquery`، وتبديل syslog. يمكن أن تحدد سجلات التوجيه التكيفية مصادر الازدحام.
• تحسين:ضبط عتبات التوجيه التكيفية وبارامترات التحكم في الازدحام استنادًا إلى تحديد حجم العمل. لتدريب الذكاء الاصطناعي على نطاق واسع ، قم بتشغيل SHARP على مكتبات MPI المعمول بها (على سبيل المثال ، NCCL مع ملحق SHARP).

عند التخطيط للميزانية أو التوسع، اطلبسعر MQM8790-HS2Fمن الشركاء المعتمدين والتحققMQM8790-HS2F للبيعتوافر المنصة متوافقة مع كابلات QSFP56 الحالية مما يقلل من مخاطر المشتريات.

الـMQM8790-HS2Fليس مجرد مفتاح ‬ إنه كتلة بناء أساسية للأنسجة الحاسوبية العالية الحرارة ذات التأخير المنخفض والذكاء الاصطناعي. مزيج من 200 جيجابايت في الثانية HDR، كثافة 40 منفذ، التوجيه التكيفي،و SHARP الحوسبة في الشبكة تعالج مباشرة النقاط الأساسية من نقاط الألم من الاتصالات بين المجموعات الحديثةبالمقارنة مع حلول إثنر 200G البديلة، يوفر النظام البيئي لـ InfiniBand:

• تكاليف أقل لـ CPU (RDMA الحقيقي مع إزالة حمولة نقل الأجهزة)
• فترة تأخير محددة على نطاق ميكرو ثانية تحت الحمل الحقيقي
• إدارة نسيج مبسطة مع مدير شبكة فرعية مركزية
• قابلية التوسع المثبتة لعشرات الآلاف من النقاط النهائية

بالنسبة للمنظمات التي تبني أو توسع مجموعات GPU،NVIDIA Mellanox MQM8790-HS2Fيعني تحقيق ارتفاع مستويات التردد الفعالة لكل دولار، وتقليل وقت الانتهاء من العمل، وتعزيز قدرة الارتباط المتبادل على الجيل القادم من تحديثات HDR200 (400Gb / s).بما في ذلك الكاملمواصفات MQM8790-HS2Fومصفوفات الكابلات، متوفرة من خلال بوابة شركاء NVIDIA.