الحل الفني لـ Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch

الحل الفني لـ Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch - تحسين التوصيل البيني منخفض زمن الاستجابة لمجموعات RDMA/HPC/AI

يقدم هذا المستند التقني الفني بنية حل شاملة تتمحور حولميلانوكس (إنفيديا ميلانوكس) MQM9790-NS2Fتبديل إنفينيباند. تستهدف الوثيقة مهندسي الشبكات، ومهندسي ما قبل البيع، وقادة العمليات، وتوضح تفاصيل كيفيةMQM9790-NS2Fتوفر زمن وصول محددًا منخفضًا للغاية، وRDMA بدون فقدان، وعرض نطاق ترددي قابل للتطوير للجيل التالي من البنى التحتية HPC وAI. نحن نغطي مبادئ التصميم وطبولوجيا النشر وأفضل الممارسات التشغيلية والتحقق من صحة الأداء.

1. تحليل خلفية المشروع ومتطلباته

تتطلب أعباء عمل التدريب على الذكاء الاصطناعي والمحاكاة العلمية الحديثة أنسجة شبكية يمكنها الحفاظ على أنماط اتصالات هائلة من كل التخفيض والتجمع ومن نقطة إلى نقطة مع ارتعاش أقل من ميكروثانية. تقدم الحلول التقليدية المستندة إلى Ethernet، حتى مع RoCEv2، تعقيدًا في إدارة الازدحام وضبط PFC والتحكم في زمن الاستجابة، مما يؤدي غالبًا إلى استخدام غير فعال لوحدة معالجة الرسومات وأوقات إكمال المهام غير المتوقعة.

تتضمن المتطلبات الأساسية المحددة عبر مشاريع HPC/AI النموذجية ما يلي:

• زمن الوصول من طرف إلى طرف < 1 ميكروثانية (تبديل منفذ إلى منفذ) تحت الحمل الكامل
• قماش بدون فقدان مع عدم وجود أي قطرات بسبب الازدحام
• قابلية التوسع من 64 إلى أكثر من 2000 عقدة GPU دون تغييرات معمارية
• عمليات مبسطة مع القياس عن بعد الغني والاسترداد التلقائي للأخطاء

النفيديا ميلانوكس MQM9790-NS2Fيعالج هذه المتطلبات بشكل مباشر من خلال دمج تقنية NDR 400 Gb/s والتوجيه التكيفي والحوسبة داخل الشبكة في منصة OSFP مكونة من وحدة واحدة و64 منفذًا.

2. التصميم الشامل لبنية الشبكة/النظام

تعتمد البنية الموصى بها طوبولوجيا ذات عمود ورقي (أو شجرة دهنية) مكونة من مستويين لتوفير عرض نطاق ترددي كامل ومرونة عالية. تتكون كل كتلة من الأوراق من رفوف متعددة، حيث يحتوي كل رف على رفوفينمفاتيح MQM9790-NS2F إنفينيباندللتكرار. تقوم طبقة العمود الفقري بتجميع حركة المرور من جميع المفاتيح الطرفية، مما يضمن الاتصال غير المعوق بين أي نقطتين نهائيتين.

الMQM9790-NS2F 400 جيجابت/ثانية NDR 64 منفذ OSFPيعمل المفتاح بمثابة الورقة والعمود الفقري، مما يوفر أجزاء صلبة موحدة عبر القماش - مما يبسط عملية التوفير والصيانة. بالنسبة لمجموعة تحتوي على 1,024 وحدة معالجة رسومات، يستخدم التصميم النموذجي 16 مفتاحًا ورقيًا (يربط كل منها 64 وحدة معالجة رسومات) و8 مفاتيح رئيسية، جميعها مترابطة عبر كابلات بصرية أو DAC بسعة 400 جيجا بايت. يدعم النسيج كلاً من طوبولوجيا Fat-tree وDragonfly+، مع توجيه متكيف يوازن ديناميكيًا حركة المرور عبر مسارات متعددة.

3. الدور والميزات الرئيسية للميلانوكس (إنفيديا ميلانوكس) MQM9790-NS2Fفي الحل

النفيديا ميلانوكس MQM9790-NS2Fهو حجر الزاوية في هذا الحل، حيث يوفر:

• 64 منفذ OSFPتعمل كل منها بسرعة 400 جيجابت/ثانية (NDR) - قدرة تحويل إجمالية تبلغ 25.6 تيرابت/ثانية، مع زمن انتقال أقل من 600 نانو ثانية.
• التوجيه التكيفي- يختار ديناميكيًا المسار الأقل ازدحامًا لكل حزمة، مع تجنب روابط النقاط الساخنة والحفاظ على زمن الوصول المتسق حتى في ظل أنماط حركة المرور غير المتماثلة.
• SHARPv3 (بروتوكول التجميع والتخفيض الهرمي القابل للتطوير)- يعمل على تفريغ الاتصالات الجماعية (تقليل الكل والبث) من وحدات المعالجة المركزية المضيفة، مما يقلل من أحاديث الشبكة ويسرع تدريب الذكاء الاصطناعي بنسبة تصل إلى 20-30%.
• الحوسبة داخل الشبكة- يدعم تقليل البيانات وتقسيمها وحتى عمليات MPI صغيرة الحجم مباشرة على المحول، مما يوفر موارد GPU القيمة للحساب.
• القياس عن بعد وإدارة الازدحام- مراقبة متقدمة مدمجة بما في ذلك عدادات كل تدفق، ورسوم بيانية لإشغال المخزن المؤقت، ومقاييس زمن الوصول على مستوى المسار، وكلها قابلة للتصدير عبر UFM أو REST APIs.

هذه القدرات تمكنحل التبديل MQM9790-NS2F InfiniBandلتقديم أداء محدد على نطاق واسع، كما تم التحقق من صحته من خلال المعايير الداخلية وعمليات نشر العملاء. المواصفات MQM9790-NS2Fيتضمن أيضًا دعمًا لكل من DACs النحاسية السلبية والوحدات الضوئية النشطة، مما يوفر المرونة لمسافات تصل إلى 100 متر (مع بصريات 400G SR4) وما بعدها.

4. توصيات النشر والقياس (الطوبولوجيا النموذجية)

بالنسبة للنشر في المجالات الجديدة، نوصي بالنهج المرحلي التالي:

• المرحلة الأولى – التجريبية:قم بنشر مفتاحين ورقيين (كل منهماMQM9790-NS2F) ومفتاحين للعمود الفقري، يربطان 128 وحدة معالجة رسوميات. التحقق من صحة الأداء مقابلورقة بيانات MQM9790-NS2Fحدود.
• المرحلة الثانية – التوسع:أضف المفاتيح الطرفية بزيادات قدرها 2 لكل حامل، ومفاتيح العمود الفقري حسب الحاجة للحفاظ على الاشتراك الزائد ≥ 1:1. تتيح كثافة 64 منفذًا لمحول واحد استضافة مجموعة كاملة من 64 عقدة GPU (إذا كانت كل عقدة تحتوي على وصلة صاعدة واحدة تبلغ 400 جيجا بايت).
• المرحلة 3 - متعدد المستويات:بالنسبة للمجموعات التي تتجاوز 2000 عقدة، قم بتنفيذ بنى مستقلة متعددة (على سبيل المثال، 2 × أو 4 × طائرات) مع موازنة التحميل المستندة إلى المسار، مع الاستفادة من دعم المحول للممرات الافتراضية ومفاتيح التقسيم.

تستخدم الكابلات النموذجية محولات DAC من OSFP إلى OSFP للتوصيلات داخل الحامل (أقل من 3 أمتار) والوحدات الضوئية OSFP إلى 400G SR4 لمسافات صفائحية تصل إلى 100 متر. المتوافق مع MQM9790-NS2Fيتم التحقق من صحة أجهزة الإرسال والاستقبال من خلال النظام البيئي للبائع البصري لشركة NVIDIA، مما يضمن إمكانية التشغيل البيني السلس.

5. العمليات والمراقبة وتشخيص الأخطاء وتحسينها

تعد العمليات الفعالة أمرًا بالغ الأهمية للحفاظ على زمن الوصول المنخفض في الإنتاج. الحل يتكامل معNVIDIA UFM (مدير النسيج الموحد)، والذي يوفر:

• لوحة القيادة في الوقت الحقيقي– عرض النطاق الترددي لكل منفذ، وعدادات الأخطاء، وخرائط حرارة الازدحام.
• إعادة تحسين المسار الآلي- عندما يتدهور الارتباط أو يفشل، تقوم UFM بإعادة حساب المسارات وإعادة تكوين جداول التوجيه التكيفية دون تدخل المشغل.
• القياس التاريخي عن بعد- يخزن بيانات الكمون والتدفق لتحليل ما بعد الوفاة وتخطيط القدرات.

يوصى بسير العمل لاستكشاف الأخطاء وإصلاحها:

1. مراقبة إطارات الإيقاف المؤقت والتجاهل لكل منفذ - من المتوقع عدم التجاهل مطلقًا؛ تشير أي عمليات تجاهل إلى تكوين خاطئ أو خلل في البصريات.
2. التحقق من صحة تشغيل SHARPv3 عبر الإحصائيات الجماعية لـ UFM - تأكد من إلغاء تحميل عمليات التخفيض.
3. استخدم أدوات التشخيص المدمجة (على سبيل المثال،com.ibdiagnet,com.ibstatus) للتحقق من سلامة الارتباط وسلامة الإشارة.

من أجل التحسين، قم بضبط عتبة خوارزمية التوجيه التكيفية (على سبيل المثال، الفاصل الزمني لاستشعار الحمل) بناءً على أنماط عبء العمل -MQM9790-NS2F التبديل إنفينيبانديسمح بالضبط الدقيق عبر واجهات الإدارة. تتضمن تحديثات البرامج الثابتة المنتظمة (المتوفرة عبر بوابة دعم NVIDIA) تحسينات في الأداء وتصحيحات الأمان.

6. ملخص وتقييم القيمة

الميلانوكس (إنفيديا ميلانوكس) MQM9790-NS2Fيقدم أساسًا عالي الأداء ومقاومًا للمستقبل لمجموعات RDMA/HPC/AI. ومن خلال الجمع بين سرعة NDR البالغة 400 جيجابت/ثانية وكثافة 64 منفذًا والحوسبة الذكية داخل الشبكة، فإنه يزيل الاختناقات التقليدية ويوفر قابلية التوسع الخطي حتى فئة exascale. يعمل هذا الحل على تقليل التكلفة الإجمالية للملكية من خلال تقليل الطاقة لكل منفذ (≈1.5 وات)، وتبسيط الكابلات، وتقليل حمل وحدة المعالجة المركزية من عمليات إلغاء تحميل SHARP.

بالنسبة للمنظمات التي تقوم بتقييمسعر MQM9790-NS2F، يتم تبرير الاستثمار من خلال مكاسب قابلة للقياس في استخدام وحدة معالجة الرسومات (غالبًا ما تتجاوز 90% في الإنتاج) وانخفاض يصل إلى 40% في أوقات إنجاز المهمة مقارنة بأقمشة RoCEv2. الورقة بيانات MQM9790-NS2Fومواصفات MQM9790-NS2Fتقديم تفاصيل شاملة، والوحدات متاحة بسهولة (MQM9790-NS2F للبيععبر القنوات المعتمدة). علاوة على ذلك، يضمن توافق المحول مع محولات NVIDIA الحالية مسارًا سلسًا للانتقال للمستخدمين الذين استثمروا بالفعل في نظام Mellanox البيئي.

باختصار، يعتمد هذا الحل التقني علىMQM9790-NS2F التبديل إنفينيبانديوفر نسيجًا قويًا وفعالاً من الناحية التشغيلية يلبي متطلبات التوصيل البيني ذات زمن الوصول المنخفض الأكثر تطلبًا - وهو حجر الزاوية للجيل القادم من الحوسبة الفائقة للذكاء الاصطناعي.