الحل الفني لمفتاح NVIDIA Mellanox MQM8790-HS2F InfiniBand

الحل الفني لـ NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch | تحسين الاتصال البيني منخفض زمن الوصول لمجموعات RDMA/HPC/AI

1. تحليل خلفية المشروع ومتطلباته

مع توسع مجموعات تدريب الذكاء الاصطناعي (AI) لتشمل آلاف وحدات معالجة الرسومات وأنظمة الحوسبة عالية الأداء (HPC) التي تتجه نحو أداء الإكساسكيل، أصبح نسيج الشبكة الذي يربط العقد الحاسوبية عاملاً حاسمًا في تحديد الأداء. في هذه البيئات، لا يعد زمن الاستجابة مجرد مقياس - فهو يؤثر بشكل مباشر على أداء التطبيق، ووقت الحل، وكفاءة المجموعة بشكل عام. بالنسبة لأحمال العمل التي تعتمد بشكل كبير على العمليات الجماعية MPI (واجهة تمرير الرسائل) وأنماط الاتصال الشاملة - مثل التدريب على نماذج اللغة الكبيرة، وديناميكيات الموائع الحسابية، ومحاكاة كيمياء الكم - يمكن أن تترجم الزيادات في زمن الوصول على مستوى الميكروثانية إلى ساعات من وقت التشغيل الإضافي. غالبًا ما تكافح شبكات Ethernet التقليدية، حتى مع RDMA عبر Ethernet المتقاربة (RoCE)، لتوفير زمن الوصول المنخفض الحتمي والتشغيل الخالي من الازدحام الذي تتطلبه هذه التطبيقات الصعبة.

ويتم تضخيم هذا التحدي من خلال ثلاثة اتجاهات متزامنة. أولاً، يتطلب الحجم المتزايد لنماذج الذكاء الاصطناعي (التي تتجاوز الآن تريليونات من المعلمات) توازيًا هائلاً عبر الآلاف من وحدات معالجة الرسومات، مما يتطلب نسيجًا يمكنه الحفاظ على إنتاجية عالية مع الحد الأدنى من تباين زمن الوصول. ثانيًا، يعني تقارب أعباء عمل HPC وAI أن نسيجًا واحدًا يجب أن يدعم بكفاءة كلاً من أنماط الاتصال المستندة إلى MPI والعمليات الجماعية لوحدة معالجة الرسومات المستندة إلى NCCL. ثالثًا، تتطلب الكفاءة التشغيلية أن يكون النسيج قابلاً للإدارة على نطاق واسع، مع مراقبة شاملة وقدرات التحسين الآلي. يلزم وجود حل تقني منظم - حل يستفيد من محول InfiniBand عالي الأداء مع إعادة توجيه بزمن وصول منخفض، وإدارة متقدمة للازدحام، وتسريع الحوسبة داخل الشبكة لتقديم أداء يمكن التنبؤ به على نطاق واسع.

2. التصميم الشامل لبنية الشبكة/النظام

تتبنى البنية المقترحة طوبولوجيا الورقة الشوكية باستخدامنفيديا ميلانوكس MQM8790-HS2Fالمحولات كطبقة ورقية، متصلة بمفاتيح العمود الفقري ذات كثافة المنافذ العالية (مثل سلسلة QM9700 مع 64 منفذًا بسرعة 400 جيجابت/ثانية NDR) للأقمشة واسعة النطاق. تم تصميم البنية لدعم الاتصال غير المحظور مع عرض النطاق الترددي الكامل للتقسيم، مما يضمن أن أي عقدة حسابية يمكنها الاتصال بأي عقدة أخرى بسرعة سلكية دون تعارض.

في النشر النموذجي لمجموعة مكونة من 2000 عقدة، تشتمل البنية على ما يلي:

• طبقة الورقة:20MQM8790-HS2F التبديل إنفينيباندوحدات، تحتوي كل منها على 40 منفذ QSFP56 تعمل بسرعة 200 جيجابت/ثانية بتقنية HDR. يتصل كل محول طرفي بـ 50 عقدة حسابية (باستخدام مزيج من التوصيلات المباشرة بسرعة 200 جيجابت/ثانية واختراق HDR100 بسرعة 100 جيجابت/ثانية عبر كابلات QSFP56 إلى 2×QSFP56).
• الطبقة العمود الفقري:4 محولات QM9700 (أو محولات عالية الكثافة مكافئة)، يحتوي كل منها على 64 منفذًا بسرعة NDR تبلغ 400 جيجابت/ثانية، مما يوفر اتصالاً بين الأوراق.
• عقد الحساب:كل عقدة مجهزة بواحد أو أكثر من محولات ConnectX-6 HDR أو ConnectX-7 NDR، المتصلة بمفاتيح الأوراق عبر الكابلات النحاسية السلبية أو الكابلات الضوئية النشطة.
• شبكة الإدارة:شبكة إيثرنت منفصلة خارج النطاق لإدارة المحولات، ومتكاملة مع منصة NVIDIA Unified Fabric Manager (UFM) لمراقبة النسيج المركزي وتحسينه.

تستفيد الهندسة المعمارية منMQM8790-HS2F 200 جيجابت / ثانية HDR 40 منفذ QSFP56التكوين لتوفير قدرة تحويل إجمالية تبلغ 8 تيرابايت/ثانية لكل محول. يتيح استخدام تقنية HDR100 Breakout خيارات اتصال مرنة: يمكن لكل منفذ بسرعة 200 جيجابت/ثانية أن يدعم إما نقطة نهاية واحدة بسرعة 200 جيجابت/ثانية أو نقطتي نهاية بسرعة 100 جيجابت/ثانية، مما يستوعب عقد الحوسبة غير المتجانسة بسرعات واجهة مختلفة.

3. الدور والميزات الرئيسية لـ NVIDIA Mellanox MQM8790-HS2F في الحل

ضمن هذه العمارة،MQM8790-HS2Fيعمل كمفتاح أساسي، مما يوفر اتصالاً بزمن وصول منخفض ونطاق ترددي عالٍ لعقد الحوسبة مع دعم الميزات المتقدمة الأساسية لأحمال عمل HPC وAI. تعتبر ميزاته التقنية الرئيسية حاسمة لنجاح الحل الشامل:

• زمن الوصول من منفذ إلى منفذ أقل من 100 نانو ثانية:يوفر زمن وصول محددًا منخفضًا ضروريًا لمجموعات MPI الحساسة لوقت الاستجابة وعمليات التخفيض الشامل.
• 40 منفذًا بسرعة 200 جيجابايت/ثانية بتقنية HDR InfiniBand:يوفر قدرة تحويل إجمالية تبلغ 8 تيرابايت/ثانية في عامل شكل مدمج مكون من 1U، مما يزيد من كثافة المنفذ ويقلل من استهلاك مساحة الحامل.
• دعم SHARP (بروتوكول التجميع والتخفيض الهرمي القابل للتطوير):يتيح تسريع الحوسبة داخل الشبكة لعمليات MPI الجماعية، مما يؤدي إلى تفريغ ما يصل إلى 20% من عبء عمل الاتصالات من وحدة المعالجة المركزية/وحدة معالجة الرسومات.
• التوجيه التكيفي:يوزع حركة المرور ديناميكيًا عبر مسارات النسيج المتاحة استنادًا إلى مقاييس الازدحام في الوقت الفعلي، مما يؤدي إلى تحسين الإنتاجية وتقليل تباين زمن الوصول.
• التحكم في الازدحام:يطبق آليات متقدمة لإدارة الازدحام (بما في ذلك التحكم في التدفق على مستوى الحزمة وإخطار الازدحام) لمنع نقاط اتصال الشبكة من تدهور الأداء.
• دعم اختراق HDR100:يسمح بتكوين كل منفذ بسرعة 200 جيجابت/ثانية كمنفذين مستقلين بسرعة 100 جيجابت/ثانية، مما يوفر مرونة النشر للبيئات ذات السرعات المختلطة.
• واجهات الإدارة الشاملة:يدعم إدارة الشبكة الفرعية (SM) المتوافقة مع IBTA وSNMP وCLI وWeb UI والتكامل مع UFM لإدارة النسيج المركزية.
• كفاءة الطاقة:استهلاك الطاقة النموذجي أقل من 230 وات، مما يساهم في تقليل متطلبات التبريد وتحسين PUE.

تم توثيق هذه الميزات بشكل شامل فيورقة بيانات MQM8790-HS2F، والذي يتضمن منحنيات أداء تفصيلية ومواصفات حرارية ورسومات ميكانيكية لدمجها في أدوات تخطيط الحامل.

4. توصيات النشر والقياس (مع وصف الهيكل النموذجي)

بالنسبة للنشر الأولي، نوصي بإستراتيجية توسيع معيارية تعتمد على بنية مستوى الحاوية. تتكون كل حجرة من 4 مفاتيح ورقية و2 مفتاحين أساسيين، مما يدعم ما يقرب من 400 عقدة حسابية مع عرض نطاق ترددي كامل. الحل التبديل MQM8790-HS2F InfiniBandيتيح التوسع المتزايد عن طريق إضافة الحجيرات مع نمو سعة الحوسبة، مع توفير طبقة العمود الفقري الاتصال بين القرون للحصول على نسيج موحد.

الهيكل النموذجي لجراب واحد (400 عقدة حسابية):

• مفاتيح الأوراق:4 × MQM8790-HS2F، كل منها يحتوي على 40 منفذًا بسرعة 200 جيجابت/ثانية. يتم استخدام 36 منفذًا لكل ورقة لتوصيل عقدة الحوسبة (دعم ما يصل إلى 72 عقدة لكل ورقة باستخدام اختراق HDR100)، بينما يتم استخدام 4 منافذ لكل ورقة للوصلات الصاعدة للعمود الفقري.
• مفاتيح العمود الفقري:2 × QM9700 (أو ما يعادلها من محولات NDR ذات 64 منفذًا)، يتصل كل منها بجميع المحولات ذات الأوراق الأربعة عبر وصلات صاعدة بسرعة 400 جيجابت/ثانية (باستخدام كابلات QSFP56 إلى QSFP-DD من 4×200 جيجابت/ثانية).
• عقد الحساب:400 عقدة، كل منها متصلة بمحول ورقي عبر وصلات HDR100 فردية بسرعة 200 جيجابت/ثانية أو مزدوجة بسرعة 100 جيجابت/ثانية.

التوسع خارج جراب واحد:

• قم بإضافة حاويات إضافية (تحتوي كل منها على 4 محولات MQM8790-HS2F) حسب ما تتطلبه سعة الحوسبة.
• قم بتوصيل القرون من خلال طبقة العمود الفقري ذات الطبقة العليا (العمود الفقري العلوي) باستخدام مفاتيح QM9700 أو NDR الإضافية.
• الحفاظ على تماسك القماش باستخدامMQM8790-HS2Fعبر جميع مواضع الأوراق، مما يضمن زمن وصول وإدارة موحدين عبر النسيج بأكمله.

عند نشرMQM8790-HS2Fفي وضع الاختراق HDR100، تنطبق إرشادات الكابلات التالية:

بالنسبة للأنسجة واسعة النطاق التي تتجاوز 2000 عقدة، نوصي باستخدام إمكانات محاكاة النسيج الخاصة بشركة UFM للتحقق من صحة تصميم الهيكل وسلوك الازدحام قبل النشر.

5. العمليات والصيانة: المراقبة واستكشاف الأخطاء وإصلاحها والتحسين

تتطلب دورة الحياة التشغيلية لنسيج InfiniBand القائم على MQM8790-HS2F اتباع نهج منظم للمراقبة واستكشاف الأخطاء وإصلاحها والتحسين. نوصي بنشر منصة NVIDIA UFM كأداة مركزية للإدارة والمراقبة، مما يوفر رؤية في الوقت الفعلي لأداء النسيج ومقاييس زمن الوصول وأنماط الازدحام.

مقاييس المراقبة الرئيسية التي يجب تتبعها:

• الكمون على مستوى المنفذ:زمن الوصول من طرف إلى طرف عبر النسيج، مع تنبيهات للمنافذ التي تتجاوز حدود زمن الوصول.
• الإنتاجية والاستخدام:الإنتاجية الإجمالية لكل منفذ، وتحديد الروابط غير المستغلة أو المفرطة الاستخدام.
• مؤشرات الازدحام:إسقاط الحزم، وإيقاف الإطارات مؤقتًا، وأحداث إشعارات الازدحام.
• صحة النسيج:حالة الارتباط وعدادات الأخطاء وقياس درجة الحرارة/الطاقة عن بعد.

بروتوكول استكشاف الأخطاء وإصلاحها للمشكلات الشائعة:

1. تدهور الكمون:استخدم أدوات تحليل زمن الوصول الخاصة بشركة UFM لتحديد المسار أو المنفذ المحدد الذي يعاني من زمن استجابة متزايد؛ تحقق من الازدحام أو التكوين الخاطئ للتوجيه التكيفي.
2. أخطاء الارتباط أو السقطات:فحص الاتصال المادي (الكابلات والبصريات) وعدادات أخطاء المنافذ؛ التحقق من أنمتوافق مع MQM8790-HS2Fيتم استخدام الكابلات والبصريات لكلمواصفات MQM8790-HS2F.
3. مشاكل إدارة الشبكة الفرعية:تحقق من تشغيل مدير الشبكة الفرعية (SM) ومن اكتشاف بنية النسيج بشكل صحيح؛ تحقق من أحداث تجاوز فشل SM.

توصيات التحسين:

• ضبط التوجيه التكيفي:اضبط معلمات خوارزمية التوجيه بناءً على أنماط حركة المرور الملحوظة - استخدم UFM لمحاكاة سياسات التوجيه المختلفة قبل تطبيقها على نسيج الإنتاج.
• تكوين التحكم في الازدحام:تمكين وضبط آليات التحكم في الازدحام (مثل سرعة الحزم والتحكم في تدفق الأولوية) استنادًا إلى خصائص عبء العمل - يستفيد تدريب الذكاء الاصطناعي من التحكم الأكثر قوة في الازدحام مقارنة بأحمال عمل HPC.
• تحديثات البرامج الثابتة والبرامج:قم بتحديث البرامج الثابتة للمحول وبرنامج UFM بانتظام للوصول إلى تحسينات الأداء والميزات الجديدة.
• تدقيقات النسيج الدورية:قم بإجراء عمليات تدقيق منتظمة للكابلات والطاقة والتبريد لضمان الموثوقية التشغيلية على نطاق واسع.

6. ملخص وتقييم القيمة

النفيديا ميلانوكس MQM8790-HS2Fيوفر الحل التقني القائم على منهجية شاملة تم التحقق من صحتها ميدانيًا لتحسين التوصيل البيني منخفض زمن الوصول في مجموعات RDMA/HPC/AI. من خلال الاستفادة من 40 منفذًا للمحول بتقنية HDR InfiniBand بسرعة 200 جيجابت/ثانية، وزمن وصول أقل من 100 نانو ثانية، وحوسبة SHARP داخل الشبكة، وقدرات التوجيه التكيفية، يمكن للمؤسسات إنشاء بنى توفر أداءً يمكن التنبؤ به على نطاق واسع مع تبسيط الإدارة وتقليل النفقات التشغيلية.

تتضمن مقاييس القيمة الرئيسية من عمليات النشر المماثلة ما يلي:

• تقليل الكمون:يقلل زمن الوصول من منفذ إلى منفذ أقل من 100 نانو ثانية من أوقات إكمال MPI الجماعية بنسبة تصل إلى 35% مقارنة بأقمشة الجيل السابق.
• تسريع التطبيق:يؤدي إلغاء تحميل الحوسبة داخل الشبكة من SHARP إلى تقليل حمل اتصالات وحدة المعالجة المركزية/وحدة معالجة الرسومات بنسبة تصل إلى 20%، مما يؤدي إلى تسريع أوقات تدريب الذكاء الاصطناعي بنسبة 25-30%.
• كفاءة النسيج:يحافظ التوجيه التكيفي والتحكم في الازدحام على أداء ثابت في ظل أحمال مختلفة، مما يقلل من تقلب الأداء بنسبة تصل إلى 60%.
• تبسيط العمليات:يوفر تكامل UFM رؤية شاملة وأتمتة، مما يقلل من MTTR لحوادث النسيج بنسبة تصل إلى 50%.
• كفاءة التكلفة:السعر MQM8790-HS2Fبالإضافة إلى كثافة المنافذ العالية، توفر تكلفة أقل لكل منفذ مقارنةً بحلول InfiniBand البديلة، مع تقليل مساحة الحامل ومتطلبات الطاقة.

بالنسبة لمهندسي الشبكات وقادة الهندسة، يوفر MQM8790-HS2F أساسًا عالي الأداء وقابلاً للتطوير للجيل التالي من مجموعات HPC وAI. يوصى بهذا الحل بشكل خاص للمؤسسات التي تنشر بيئات واسعة النطاق مسرعة بواسطة وحدة معالجة الرسومات، بالإضافة إلى مراكز HPC التقليدية التي تقوم بالترقية من 100 جيجابت/ثانية إلى 200 جيجابت/ثانية. مع استمرار InfiniBand في التطور نحو NDR (400 جيجابت/ثانية) وXDR (800 جيجابت/ثانية)، فإن دعم MQM8790-HS2F لتقنية HDR100 يضمن التوافق مع البنية التحتية الحالية مع توفير مسار انتقال واضح إلى السرعات المستقبلية.

للحصول على قوالب تصميم النسيج التفصيلية، وأدلة ضبط الأداء، وقوائم التحقق من النشر، راجعورقة بيانات MQM8790-HS2Fووثائق بنية NVIDIA Mellanox InfiniBand.