NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch في الإنتاج ---- تحسين الاتصال المتبادل منخفض التأخير لـ RDMA / HPC / AI

نظرًا لأن التدريب على نماذج اللغة الكبيرة وعمليات محاكاة HPC ذات الحجم الكبير تدفع مجموعات GPU نحو عشرات الآلاف من العقد، فإن أنسجة Ethernet التقليدية تعاني من زمن الوصول والازدحام. وقد واجه مركز حوسبة وطني يعمل بالذكاء الاصطناعي هذا التحدي مؤخرًا من خلال نشرنفيديا ميلانوكس MQM8790-HS2Fيتحول InfiniBand باعتباره العمود الفقري لتوسيع وحدة معالجة الرسومات التي تبلغ 800 عقدة. تتناول هذه المقالة رحلتهم في العالم الحقيقي - من الاختناقات إلى المكاسب القابلة للقياس - باستخدام RDMA والحوسبة داخل الشبكة لتحسين أداء الاتصال البيني للمجموعة.

الخلفية والتحدي: عندما تصبح الشبكة بمثابة عنق الزجاجة للذكاء الاصطناعي

تم تشغيل المجموعة القديمة المكونة من 400 عقدة للمركز على شبكة RoCEv2 Ethernet بسرعة 100 جيجابت/الثانية. مع تحول أعباء العمل من نماذج CNN إلى LLMs ذات تريليون معلمة، ارتفع زمن الوصول للاتصالات عبر العقد بشكل كبير. أثناء عمليات All‑Reduce، يستهلك وقت انتظار الشبكة أكثر من 40% من إجمالي وقت التكرار. كان المهندسون المعماريون بحاجة إلى نظام أساسي يوفر زمن وصول أقل من الميكروثانية، وتحكمًا في التدفق دون فقد البيانات، ودعم RDMA الأصلي - كل ذلك أثناء إعادة استخدام بصريات QSFP56 الحالية. بعد تقييم البدائل المتعددة،MQM8790-HS2F التبديل إنفينيباندوتميزت هذه الأجهزة بعرض النطاق الترددي HDR الذي يبلغ 200 جيجابت/ثانية والتصميم عالي الكثافة الذي يضم 40 منفذًا.

الحل والنشر: تقنية HDR Fat‑Tree المبنية على MQM8790-HS2F

ويعتمد الترابط الجديد طوبولوجيا الشجرة الدهنية المكونة من طبقتين، حيث ينشر 24 وحدة مننفيديا ميلانوكس MQM8790-HS2Fعبر طبقات الأساسية والأوراق. يوفر كل محول 40 منفذ QSFP56 تعمل بسرعة 200 جيجابايت/ثانية لكل اتجاه، مما يوفر قدرة تحويل غير قابلة للحظر تبلغ 16 تيرابايت/ثانية. وتابع المهندسونورقة بيانات MQM8790-HS2Fومواصفات MQM8790-HS2Fلتمكين التوجيه التكيفي والتحكم المتقدم في الازدحام. تتصل كل عقدة وحدة معالجة رسومات (GPU) عبر محولات HDR ConnectX‑6، مما يؤدي إلى الاستفادة من InfiniBand RDMA الأصلي لنقل البيانات بدون نسخ - مما يؤدي إلى تفريغ أكثر من 95% من مشاركة وحدة المعالجة المركزية في الاتصال.

كما حجز المركز عدةMQM8790-HS2F 200 جيجابت / ثانية HDR 40 منفذ QSFP56وحدات لمنطقة الحوسبة في الموقع. باستخدام SHARP (بروتوكول التجميع والتخفيض الهرمي القابل للتطوير)، يتم إلغاء تحميل العمليات الجماعية مثل All‑Reduce من الخوادم مباشرة إلى شبكة التبديل. في التدريب على 128-GPU، أدى ذلك إلى تقليل وقت الاتصال بنسبة 32% دون أي تغيير في التعليمات البرمجية لإطار عمل الذكاء الاصطناعي.

النتائج والمكاسب: زمن وصول أقل، إنتاجية أعلى، تكلفة ملكية إجمالية يمكن التحكم فيها

أظهرت مقاييس ما بعد النشر تحسينات هائلة:

• الكمون من نقطة إلى نقطة:تم قياس اختبارات MPI pingpong ~0.9μs على روابط HDR بسرعة 200 جيجابت/ثانية - أقل بنسبة 65% من إعداد RoCE القديم.
• كفاءة الاتصال الجماعي:على مقياس 512-GPU، اكتمل All-Reduce في 18.3 مللي ثانية فقط، وهو انخفاض بنسبة 52% مقارنة بخط الأساس السابق.
• استخدام الشبكة:أدى التوجيه التكيفي إلى الحفاظ على موازنة تحميل الرابط أعلى من 92%، مع عدم وجود نقاط اتصال مزدحمة تقريبًا.
• المشتريات والعمليات:السعر MQM8790-HS2Fكان لكل منفذ أقل بنسبة 12% تقريبًا من حلول 200G المنافسة. علاوة على ذلك،متوافق مع MQM8790-HS2Fالبصريات هي وحدات QSFP56 القياسية، مما يسمح بإعادة الاستخدام الكامل للكابلات الموجودة.

"بعد الانتقال إلىحل التبديل MQM8790-HS2F InfiniBandقال المهندس الرئيسي للمركز: "لقد حققنا أخيرًا تحجيمًا شبه خطي (0.9 كفاءة) في تدريب نموذج تريليون معلمة". "لم تعد الشبكة هي عنق الزجاجة - يمكننا التركيز على ابتكار بنية النموذج بدلاً من جدولة الاتصالات."

الاستنتاج والتوقعات: لبنة البناء الأساسية لربطات Exascale

توضح هذه الحالة الواقعية أنMQM8790-HS2Fأكثر بكثير من كثافة المنفذ الأعلى. بفضل تقنية HDR بسرعة 200 جيجابت/ثانية، وRDMA الأصلي، وحوسبة SHARP داخل الشبكة، والتوجيه التكيفي، فإنه يعالج بشكل مباشر نقاط ضعف التوصيل البيني ذات زمن الوصول المنخفض في مجموعات AI/HPC الحالية. سواء كنت تخطط لإنشاء مركز حوسبة فائقة في الجامعة أو ترقية سحابة الذكاء الاصطناعي للمؤسسات، فإننفيديا ميلانوكس MQM8790-HS2Fيقدم مسارًا متوازنًا يجمع بين الأداء والتوافق والقدرة على التنبؤ بالتكلفة. التبديل الآن في مرحلة الإنتاج الحجمي. للحصول على مراجع التصميم التفصيلية، اطلب المسؤولورقة بيانات MQM8790-HS2Fمن بوابة شركاء NVIDIA. للمخزون في الوقت الحقيقي أوMQM8790-HS2F للبيعالاستفسارات، اتصل بموفري الحلول المعتمدين للتسعير والدعم الفني.