Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch في الممارسة العملية

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch في الممارسة العملية | تحسين الاتصال منخفض الكمون لمجموعات RDMA/HPC/AI

الخلفية والتحديات: عندما تصل مجموعات RDMA إلى عنق زجاجة الشبكة

في بيئة عمل مختلطة نموذجية لأعباء عمل الحوسبة عالية الأداء (HPC) والذكاء الاصطناعي (AI)، غالبًا ما تعمل مجموعات الحوسبة على محاكاة ديناميكيات الموائع الحسابية (CFD)، وديناميكيات الجزيئات، وتدريب النماذج الكبيرة الموزعة جنبًا إلى جنب. تعتمد أعباء العمل هذه بشكل كبير على RDMA للاتصال بين العقد وهي حساسة للغاية لعرض النطاق الترددي، والكمون، وفقدان الحزم. عندما تنمو مجموعة من عشرات العقد إلى المئات، يمكن أن يصبح الاتصال الأصلي بسرعة العامل المحدد.

تشمل الأعراض الشائعة الكمون الطويل في الذيل أثناء AllReduce، واستخدام الروابط غير المتكافئ عبر النسيج، وتدهور أوقات إكمال المهام بمجرد مشاركة مستأجرين متعددين للشبكة. بالنسبة لمهندسي الشبكات والمعماريين، لا يكمن التحدي في مجرد إضافة عرض النطاق الترددي، بل في بناء نسيج يحافظ على الكمون قابلاً للتنبؤ به تحت الازدحام.

الحل والنشر: بناء النسيج حول MQM8790-HS2F

لمعالجة هذه المشكلات، تمت إعادة تصميم نسيج المجموعة حول Mellanox (NVIDIA Mellanox) MQM8790-HS2F، وهو مفتاح InfiniBand بسرعة 200 جيجابت/ثانية HDR مصمم للبيئات عالية الكثافة ومنخفضة الكمون. يسمح عامل شكل MQM8790-HS2F 200 جيجابت/ثانية HDR ذو 40 منفذًا QSFP56 بـ 40 منفذًا في 1U، والذي يتناسب بشكل طبيعي مع طوبولوجيا شجرة الدهون ذات المستويين.

اتبع النشر نهجًا طبقيًا:

• طبقة العمود الفقري: تم نشر مفاتيح NVIDIA Mellanox MQM8790-HS2F كأجهزة عمود فقري، مما يوفر وصلات صاعدة بسرعة 200 جيجابت/ثانية وحركة مرور شرقية-غربية غير محظورة بين مجموعات الأوراق.
• طبقة الأوراق: تتصل مفاتيح الأوراق بعقد الحوسبة المجهزة بمحولات ConnectX-6 أو ConnectX-7، مما يشكل مسار HDR من طرف إلى طرف متوافق مع MQM8790-HS2F.
• الحوسبة داخل الشبكة: تقوم تقنية SHARP على MQM8790-HS2F بتفريغ العمليات الجماعية مثل AllReduce إلى المفتاح، مما يقلل من حمل وحدة معالجة الرسومات ووحدة المعالجة المركزية.
• الإدارة والقياس عن بعد: تم استخدام MLNX-OS و UFM و NetQ لتوفير النسيج والمراقبة ورؤية الازدحام.

خلال التخطيط، راجع الفريق ورقة بيانات MQM8790-HS2F ومواصفات MQM8790-HS2F للتحقق من ميزانية الطاقة ومتطلبات التبريد وخيارات تقسيم المنافذ مثل الانقسام 2 × 100 جيجابت/ثانية. تم توحيد الكابلات والبصريات إلى QSFP56 لتبسيط قطع الغيار والتوسع المستقبلي.

النتائج والفوائد: ما الذي تغير بعد النشر

بعد الترحيل إلى حل مفتاح InfiniBand MQM8790-HS2F، أظهرت المجموعة تحسينات قابلة للقياس في كفاءة الاتصال واستقرار المهام. كانت المكاسب الأكثر بروزًا هي:

من الناحية التشغيلية، اكتسب الفريق تحكمًا أفضل في سلوك النسيج. قللت التوجيه التكيفي و SHARP من تأثير النقاط الساخنة، بينما جعلت القياسات عن بعد من السهل تحديد العقد البطيئة والروابط ذات التكوين الخاطئ. بالنسبة للمعماريين الذين يقيمون خيارات سعر MQM8790-HS2F أو MQM8790-HS2F للبيع، فإن النتيجة الرئيسية هي أن المفتاح يعوض من خلال استخدام أعلى للمجموعة بدلاً من مجرد عدد المنافذ الخام.

الخلاصة والتوقعات

يوضح MQM8790-HS2F كيف يمكن لمفتاح InfiniBand المصمم خصيصًا إزالة اختناقات الاتصال في مجموعات RDMA و HPC و AI. من خلال الجمع بين منافذ HDR بسرعة 200 جيجابت/ثانية، والحوسبة داخل الشبكة SHARP، ومكدس إدارة ناضج، يوفر NVIDIA Mellanox MQM8790-HS2F كمونًا منخفضًا قابلاً للتنبؤ به على نطاق واسع. مع استمرار نمو المجموعات وتصبح أعباء عمل الذكاء الاصطناعي أكثر كثافة في الاتصالات، فإن الأنسجة المبنية على مفتاح InfiniBand MQM8790-HS2F في وضع جيد لدعم الموجة التالية من التوسع.