ورقة بيضاء تقنية لمحول InfiniBand من NVIDIA Mellanox MQM8790-HS2F

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Technical White Paper: تحسين الاتصال المتبادل منخفض التأخير لمجموعات RDMA / HPC / AI

هذه الورقة البيضاء التقنية مخصصة لمهندسي شبكات، مهندسي ما قبل المبيعات، ومديري العمليات.NVIDIA Mellanox MQM8790-HS2F200Gb / s HDR InfiniBand switch ، يوفر تصميم حل شامل لتحسين اتصالات التراجع المنخفض في الحوسبة عالية الأداء المتسارعة من RDMA (HPC) ،ومجموعات الذكاء الاصطناعيوتغطي الوثيقة تصميم الهندسة المعمارية، والتكنولوجيات الرئيسية، واستراتيجيات النشر والتنمية، ومراقبة العمليات،وتقييم القيمة ‬تقديم مخطط قابل للتكرار للجيل القادم من البنية التحتية الحاسوبية كثيفة البيانات.

1تحليل خلفية المشروع ومتطلباته

وبما أن معايير نموذج الذكاء الاصطناعي تصل إلى حجم تريليونات ومحاكاة الحوسبة العالية تتطلب دقة أكثر دقةتطور نسيج الشبكة الأساسي من عنصر دعم إلى عامل تحديد أداء أساسيعلى سبيل المثال، يمكن أن تقضي وظائف التدريب الموزعة 40-60٪ من وقت تشغيلها على عمليات الاتصالات الجماعية إذا كانت الشبكة لا تفتقر إلى سعة النطاق الترددي الكافية وخصائص التأخير.لفريقات تكنولوجيا المعلومات في المؤسسات، وهذا يترجم مباشرة إلى وقت أطول للأسواق لمبادرات الذكاء الاصطناعي واستثمارات GPU غير مستغلة.

تتضمن المتطلبات الرئيسية التي تم تحديدها من خلال مشاركة العملاء على نطاق واسع:

• فترة تأخير منخفضة جداً ويمكن التنبؤ بهاالتبديل من تحت 200ns لـ MPI و RDMA مع الحد الأدنى من القلق
• معدل النفاذ غير الممنوع:أداء مستدام في جميع الموانئ في نفس الوقت، مما يلغي تشكيل النقاط الساخنة وتدهور فترة تأخر الذيل.
• الحسابات داخل الشبكة:تسريع الأجهزة للعمليات الجماعية (التخفيض الكلي ، البث ، الحاجز) لتخفيف حمولة وحدة المعالجة المركزية المضيفة وتقليل حركة البيانات.
• دعم الطوبولوجيا القابلة للتوسع:القدرة على بناء توبولوجيات الشجرة الدهنية أو التوروس أو الدراجون + التي تمتد من مئات إلى الآلاف من العقد دون طبقات التبديل المفرطة.
• إدارة مبسطة:مراقبة النسيج الموحدة، اكتشاف الطوبولوجيا الآلي، واكتشاف الأخطاء الاستباقية لتقليل التكاليف العملية.

الـMQM8790-HS2Fتم اختياره ككتلة بناء مثالية لهذه الهندسة المعمارية الحل، معورقة بيانات MQM8790-HS2Fتأكيد 40 منفذ من 200Gb / s HDR ، وتأخير قطع أقل من 130ns ، ودعم قدرات الحوسبة في الشبكة SHARP v3.0 التي تربط مباشرةً بالمتطلبات المذكورة أعلاه.

2تصميم بنية الشبكة / النظام بشكل عام

تستخدم الهندسة المعمارية المقترحة طوبولوجيا شجرة الدهون ذات المستويين للورق والعمود الفقري للجماعات التي تصل إلى 1200 عقدة ، مع خيار التوسع إلى ثلاثة مستويات للتنفيذات الأكبر.هذه الطوبولوجيا توازن الأداء، التكلفة، والقدرة على الإدارة، وتوفير عرض النطاق الترددي كاملة والانتظار الحتمي عبر النسيج.

كل مفتاح ورقة يربط ما يصل إلى 16 عقدة الحوسبة عن طريق NVIDIA ConnectX-6 أو ConnectX-7 HDR محولات قناة المضيف، وذلك باستخداممتوافق مع MQM8790-HS2Fالنظام البيئي للأنظمة البصرية، بما في ذلك الكابلات البصرية النشطة (AOCs) و DACs النحاس السلبي، اعتمادا على مسافة الرابط.MQM8790-HS2F 200Gb / s HDR 40 منفذ QSFP56يوفر التصميم كثافة كافية لتجميع مستوى الرف مع الحفاظ على عامل شكل 1U لاستخدام مساحة الرف بكفاءة.

بالنسبة للمجموعات التي تتجاوز 1200 عقدة ، يوصى بتصميم طوبولوجية من ثلاثة مستويات مع طبقة عمود عمودي فائقة إضافية.MQM8790-HS2F حل مفتاح InfiniBandيحافظ على دوره في جميع المستويات، مما يسهل إدارة التوفير والتكوين. نوع واحد من المفتاح يدعم النسيج بأكمله، من الحافة إلى الأساس.

3الدور والميزات الرئيسية لـ NVIDIA Mellanox MQM8790-HS2F

الـNVIDIA Mellanox MQM8790-HS2Fبمثابة عنصر التبديل الأساسي في هذه الهندسة المعمارية، وتوفر القدرات المتميزة التالية التي تدفع مباشرة تحسين اتصال متبادل منخفض الكمون:

• سرعة منفذ HDR 200Gb / s:تضاعف عرض النطاق الترددي من EDR من الجيل السابق (100Gb / s) مع الحفاظ على التوافق مع HDR100 (100Gb / s) في بيئات السرعة المختلطة ، مما يحمي الاستثمارات السابقة.
• التبديل بالقطع مع تأخير أقل من 130 ثانيةيقلل من الوقت الذي تقضيه الحزم داخل المفتاح ، وهو أمر بالغ الأهمية لعمليات RDMA الحساسة للخمول وأنماط الاتصال الجماعي.
• الحوسبة في الشبكة SHARP v3.0يقوم بتفريغ عمليات الحد من وحدات المعالجة المركزية المضيفة إلى نسيج التبديل، مما يقلل من حركة البيانات بنسبة تصل إلى 30٪ ويزيد من أداء التخفيض الكلي لتدريب الذكاء الاصطناعي بنسبة تصل إلى 2x.
• التوجيه التكيفي ومراقبة الازدحام:توزيع حركة المرور بشكل ديناميكي عبر مسارات متعددة لتجنب النقاط الساخنة ، مع إشارات الازدحام ومراقبة التدفق القائمة على الائتمان لضمان التشغيل دون خسائر - شرط أساسي لأداء RDMA.
• تقييم المعلومات والتشخيص المتكامل:يوفر مرئية دقيقة في احتلال العازل لكل ميناء، ومعدلات خطأ الرابط، وأنماط الحركة، مما يتيح التحسين الاستباقي وعزل الأخطاء السريع.

وفقاً للتفاصيلمواصفات MQM8790-HS2F، يدعم المفتاح كل من متغيرات تدفق الهواء إلى الأمام والخلف ، حيث يستوعب تصاميم تبريد مركز البيانات المتنوعة.إمدادات الطاقة المزدوجة الاضافية ووحدات المروحة التي يمكن تبديلها ساخنة تعزز الموثوقية والخدمة.

4توصيات النشر والتوسيع (مع الطوبولوجيا النموذجية)

من أجل نشر مواز وفعال من حيث التكلفة الأولية ، يوصى بتطبيق أفضل الممارسات التالية:

• اتصال العقدة إلى الورقة:استخدام كابلات HDR 200Gb / s (DAC النحاس ل ≤3m ، AOC ل ≤30m) معمتوافق مع MQM8790-HS2Fاتصالات QSFP56. تأكد من تكوين محولات قناة المضيف لنفس سرعة الرابط وإعدادات FEC مثل منافذ التبديل.
• اتصال الأوراق بالعمود الفقري:نشر 200Gb / s AOCs أو مرسلات الألياف الضوئية متعددة الأوضاع لمسافات تصل إلى 100m.MQM8790-HS2Fيتفاوض تلقائيًا على معايير الرابط، مما يسهل النشر.
• تخطيط الإفراط في الاشتراك:بالنسبة لأحمال عمل الذكاء الاصطناعي ذات الأغراض العامة / HPC ، توفر نسبة الإفراط في الاشتراك 2: 1 (عقدتين حاسوبيتين لكل رابط صعودي 200Gb / s) نقطة حلوة في الأداء التكلفي.النظرة الأولىإضافية إضافية
• مسار التوسع:عند إضافة رفوف جديدة، ببساطة نشر مفاتيح ورقة إضافية وتوصيلها إلى مفاتيح العمود الفقري القائمة. لزيادات كبيرة في السعة (إضاعف عدد العقدات) ،ترقية طبقة العمود الفقري إلى جذور أعلى أو إضافة طبقة فوق العمود الفقري.

عند تقييمسعر MQM8790-HS2Fوتكلفة الملكية الكلية،اعتبر أن الهندسة المعمارية الموحدة ‬باستخدام نفس نوع المفتاح في جميع مستويات الأقمشة ‬يقلل من متطلبات مخزون قطع الغيار بنحو 70٪ مقارنة مع النهج المتعدد SKUهذا التبسيط يسرع استجابة الحوادث ويقلل من وقت التوقف أثناء فشل الأجهزة.

5. مراقبة العمليات، حل المشاكل، وتحسين

إدارة فعالةMQM8790-HS2F مفتاح InfiniBandتتطلب البيئة منهجية لمراقبة وتشخيص وتعديل الأداء.

مراقبة أفضل الممارسات:

• قم بنشر مدير النسيج الموحد من NVIDIA (UFM) للحصول على مرئية مركزية للنسيج ، بما في ذلك خرائط الطوبولوجيا وخرائط الحرارة لاستخدام كل رابط ، ورسم بيانات التأخير في الوقت الحقيقي.
• مراقبة عدادات أخطاء كل منفذ ‬خاصة أخطاء CRC وأخطاء الرموز وأحداث التوصيل ‬لتحديد البصريات أو الكابلات المتدهورة في وقت مبكر.تعيين فخاخ SNMP لأعمدة محددة مسبقًا لتمكين الصيانة الاستباقية.
• تتبع كفاءة تشغيل SHARP الجماعي من خلال عدادات الأداء المدمجة في المفتاح ، وتحديد الفرص لتحسين أنماط الاتصال الجماعي على مستوى التطبيق.

حل المشاكل الشائعة:

• أخطاء الرابط CRC على منافذ محددة:التحقق من مقاعد الكابلات ونظافة الاتصالات البصرية. إذا استمرت الأخطاء، واستبدال الكابل أو جهاز الاستقبال.ورقة بيانات MQM8790-HS2Fتوفر حدود تشخيص مفصلة لكل ميناء.
• ارتفاعات غير متوقعة في فترة التأخرتحقق من نقاط الازدحام باستخدام تحليل تدفق حركة المرور UFM. قد يحتاج التوجيه التكيفي إلى إعادة تكوين أنماط حركة المرور معينةغير الحد الأدنى.
• مشاكل تقسيم القماش:تأكد من تكوين مفتاح التقسيم المناسب (PKey) ومدير شبكة فرعية IPoIB. يوفر مدير الشبكة الفرعية المدمج في المفتاح اكتشاف الأنسجة الآلي ،ولكن قد تكون هناك حاجة إلى تعديلات يدوية في بيئات متعددة المستأجرين.

نصائح تحسين الأداء:

• بالنسبة لأحمال عمل تدريب الذكاء الاصطناعي، قم بتشغيل SHARP v3.0 وتكوين مكتبات الاتصالات الجماعية (NCCL، OpenMPI) لاستخدام قدرات إزالة الحمل في المفتاح.هذا يمكن أن يقلل من جميع الحد من فترة تأخير ما يصل إلى 2x لحجم الرسائل الكبيرة.
• بالنسبة لتطبيقات HPC الحساسة للتأخير ، فكر في تعطيل التوجيه التكيفي لفرض اختيار المسار الحتمي ، وتبادل بعض تنوع المسار مقابل تأخير يمكن التنبؤ به.
• مراجعة وتحديث البرمجيات الثابتة للمفتاحات بشكل دوري ، حيث تقوم NVIDIA بانتظام بإصدار تحسينات الأداء والتصحيحات الأمنية.ورقة بيانات MQM8790-HS2Fلمصفوفات توافق الإصدارات.

6ملخص وتقييم القيمة

الـNVIDIA Mellanox MQM8790-HS2Fيقدم مقترح قيمة مقنع للمنظمات التي تبني أو ترقية تجمعات RDMA / HPC / AI. من خلال تقديم 200Gb / s لكل منفذ ، وتأخير أقل من 130ns ،وتسارع الحوسبة في الشبكة في غضون 1U، الهيكل ذو 40 منفذًا ، يتناول المفتاح أكثر متطلبات الترابط صرامة في أحمال العمل الحديثة كثيفة البيانات.

تشمل المحركات الرئيسية للقيمة:

• قابلية التوسع في الأداءمعمارية الشجرة الدهنية غير الممنوعة المبنية حولMQM8790-HS2F 200Gb / s HDR 40 منفذ QSFP56العقد تتراوح من 200 إلى 10000+ عقدة دون تغييرات طوبولوجية أساسية.
• كفاءة التشغيل:نوع واحد من المفاتيح عبر جميع مستويات الأقمشة يقلل من مخزون القطع الغيارية، ويبسط التدريب، ويعجل من حل المشاكل.
• حماية الاستثمار:تتيح التوافق الخلفي مع HDR100 و EDR الترقيات التدريجية ، بينما يتوافق عامل الشكل والكثافة الميناء للمفتاح مع خرائط الطريق المستقبلية لـ 400G (NDR).
• النظام البيئي المثبت:يضمن التكامل العميق مع محولات ConnectX من NVIDIA و BlueField DPUs ومنصة إدارة UFM توقع الأداء من النهاية إلى النهاية.

بالنسبة للمنظمات الجاهزة للتنفيذ،MQM8790-HS2F للبيعمن خلال الشبكة العالمية لموزعي NVIDIA المعتمدين ، تتضمن خيارات دعم شاملة ، بما في ذلك قطع الغيار في الموقع ، والاستبدال المتقدم ، واشتراكات تحديث البرمجيات الثابتة.مواصفات MQM8790-HS2Fوتتوفر التصاميم المرجعية عبر بوابة الوثائق الفنية لـ NVIDIA ، ويتم تقديم استشارات طوبولوجية مخصصة للتنفيذات المتقدمة على نطاق واسع.