ميلانوكس (NVIDIA Mellanox) MQM8790-HS2F حل فني لقطاع InfiniBand Switch

Mellanox (NVIDIA Mellanox) MQM8790-HS2F حل فني لتحويلات InfiniBand

تحليل خلفية المشروع ومتطلباته

كما تدريب نموذج الذكاء الاصطناعي الكبير وحوسبة الكمبيوتر العلمي على نطاق أكبر،التحدي الرئيسي لمجموعات الحوسبة قد تحول من قوة الحوسبة من عقدة واحدة إلى كفاءة الاتصالات بين العقدةشبكات RDMA بمثابة العمود الفقري للنقل للعمليات الجماعية، والوصول إلى التخزين، وحركة المرور نقطة التفتيش، وسلوكها يحدد مباشرة الاستخدام الكلي للمجموعة.

تتضمن المتطلبات النموذجية في هذه المشاريع:

• عرض النطاق الترددي الكبير لكل عقدة:تحتاج خوادم GPU بشكل متزايد إلى 200Gb / s أو أعلى لمواكبة أحمال العمل التدريبية متعددة GPU.
• فترة تأخير منخفضة متوقعة:AllReduce ومزامنة المعلمات حساسة لتأخير الذيل، وليس فقط متوسط التأخير.
• قابلية التوسع:يجب أن ينمو النسيج من عشرات العقد إلى مئات أو الآلاف من دون إعادة تصميم الطوبولوجيا.
• قابلية الإدارة:فرق العمليات تحتاج إلى تقييم عن بعد و رؤية الازدحام ليعزل العقد البطيئة و روابط مشوهة

تم وضع MQM8790-HS2F لتلبية هذه المتطلبات كمنصة لتحويل HDR InfiniBand 200Gb / s.

تصميم بنية الشبكة والنظام بشكل عام

العمارة الموصى بها هي شجرة الدهون ذات مستويين غير محظورة ، مع طبقة العمود الفقري مبنية من مفاتيح MQM8790-HS2F وطبقة ورقة تربط عقد الحوسبة والتخزين.هذا التصميم يوفر عرض النطاق الترددي المتساوي من الشرق إلى الغرب وتنوع المسار المتوقع، وهو أمر ضروري لنماذج حركة RDMA.

تتضمن القرارات المعماريّة الرئيسية:

• الـ HDR من النهاية إلى النهايةالعقد الحاسوبية المجهزة بمحولات ConnectX-6 أو ConnectX-7 تتصل بسرعة 200Gb / s إلى مفاتيح الأوراق ، مما يشكل مسارًا متوافقًا من نهاية إلى نهاية MQM8790-HS2F.
• سعة العمود الفقري:يوفر كل مفتاح MQM8790-HS2F 200Gb / s HDR 40 منفذ QSFP56 40 منفذًا بسرعة 200Gb / s ، مما يسمح بتخصيص وصلة صعودية وهبوطية مرنة بناءً على أهداف الإفراط في الاشتراك.
• نسيج التخزين:يمكن وضع أهداف التخزين المتوازي و NVMe-over-Fabrics على مجموعات ورق مخصصة لعزل حركة التخزين من حركة التدريب.
• مستوى الإدارة:يتم فصل إدارة خارج النطاق وجمع القياس عن بعد عن مستوى البيانات لتجنب التداخل.

دور Mellanox (NVIDIA Mellanox) MQM8790-HS2F وميزاته الرئيسية

في هذا الحل ، يعمل Mellanox (NVIDIA Mellanox) MQM8790-HS2F كعنصر تبديل العمود الفقري ، ويجمع حركة المرور في الصفحة ويمكنه الحوسبة داخل الشبكة. لا يقتصر دوره على إعادة التوجيه:كما أنه يقلل من تكاليف الاتصالات الجماعية ويحسن من كفاءة النسيج.

وتشمل الخصائص التقنية الأساسية:

• منافذ HDR 40 × 200Gb/s:ما يصل إلى 16 تيرابايت في الثانية من النطاق الإجمالي في عامل شكل 1U ، مع دعم تكييفي لسرعات HDR و EDR و FDR.
• الحوسبة في الشبكة:تحميل AllReduce والعمليات الجماعية ذات الصلة إلى المفتاح ، مما يقلل من مشاركة GPU و CPU.
• التوجيه التكيفي:يقلل من النقاط الساخنة ويحسن توازن الحمل عبر مسارات متعددة.
• مراقبة الازدحام:يدعم DCQCN والآليات ذات الصلة للحفاظ على استقرار الكمون تحت الحمل.
• نظام بيئي للبرمجيات:إدارة من قبل MLNX-OS ومراقبة من خلال UFM و NetQ.

يجب على المهندسين المعماريين مراجعة ورقة بيانات MQM8790-HS2F ومواصفات MQM8790-HS2F للتفاصيل المتعلقة بالطاقة والتبريد وتقسيم المنافذ قبل إتمام تخطيطات الرفوف.يجب التحقق من صحة سعر MQM8790-HS2F وخيارات البيع MQM8790-HS2F مع قناة الشراء، حيث أن التسعير يختلف حسب الحجم والتكوين.

توصيات النشر والتوسع

للنشر الأولي ، يمكن أن يكون مفتاح MQM8790-HS2F InfiniBand واحد هو العمود الفقري والنواة في مجموعة صغيرة ، ويربط ما يصل إلى 40 عقدة بسرعة 200 جيجابايت / ثانية. مع نمو المجموعة ،يتم إضافة مفاتيح عمود فقري إضافية، والنسيج ينتقل إلى تصميم كامل من طبقتين مع فصل الورق والعمود الفقري.

توجيهات التوسع:

• نظم الكابلات:تقييم نظارات QSFP56 وأنواع DAC / AOC لتبسيط التوفير وتقليل مخاطر التوافق.
• تقسيم الميناء:استخدام 2 × 100 جيجابايت في الثانية عندما لا تكون هناك حاجة إلى 200 جيجابايت في الثانية لكل عقدة ، مما يحسن من كفاءة الميناء.
• أهداف الإفراط في الاشتراك:تخطيط نسبة العمود الفقري إلى الورقة على أساس أنماط انفجار عبء العمل بدلا من ذروة النطاق الترددي النظري وحده.
• الطاقة والتبريد:تحقق من مساحة طاقة الصندوق مقابل السحب المسموح به للمفتاح قبل التوسع

مراقبة العمليات وإصلاح الأخطاء وتحسينها

الرؤية التشغيلية حاسمة للحفاظ على تأخير منخفض على نطاق واسع.يجب دمج حل محول MQM8790-HS2F InfiniBand مع UFM لمراقبة الأنسجة على نطاق واسع و NetQ للقياس عن بعد والتحقق من صحة.

الممارسات الموصى بها تشمل:

• مراقبة العدادات في كل ميناء للحصول على أخطاء، والتخلص منها، وحوادث الازدحام.
• تتبع المرشحين بطيئة العقدة باستخدام القياس عن بعد بدلا من الاعتماد فقط على فشل مستوى الوظيفة.
• التحقق من توافق البرمجيات الثابتة عبر جميع المفاتيح والمحولات لتجنب مشاكل التوافق.
• مراجعة تكوين SHARP بشكل دوري ، لأن الأشجار المجمعة غير المهيأة يمكن أن تقلل بدلاً من تحسين الأداء.

ملخص وتقييم القيمة

يوفر MQM8790-HS2F أساسًا عمليًا لمجموعات RDMA و HPC و AI التي تتطلب تأخيرًا منخفضًا متوقعًا وعرضًا نطاقًا واسعًا. من خلال الجمع بين منافذ HDR 40 × 200Gb / s ، يُمكنك تحسين معدل التوصيل من خلال إضافة أجهزة تشغيل HDR.الحوسبة في الشبكة، ونظام إدارة ناضج، NVIDIA Mellanox MQM8790-HS2F يساعد المهندسين المعماريين على تصميم الأقمشة التي تتوسع دون التضحية بالكفاءة.

من منظور القيمة، يجب تقييم مساهمة التبديل على أساس استغلال المجموعة، ووقت الانتهاء من العمل، والتكاليف العامة التشغيلية بدلاً من عدد المنافذ وحدها.