NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch في الممارسة العملية

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch عمليًا | تحسين الاتصال البيني منخفض زمن الوصول لمجموعات RDMA/HPC/AI

الخلفية والتحدي: عنق الزجاجة في زمن الاستجابة في مجموعات الذكاء الاصطناعي والحوسبة عالية الأداء واسعة النطاق

مع توسع مجموعات تدريب الذكاء الاصطناعي لتشمل الآلاف من وحدات معالجة الرسومات وأنظمة الحوسبة عالية الأداء (HPC) التي تتجه نحو أداء الإكساسكيل، أصبح نسيج الشبكة الذي يربط العقد الحاسوبية عاملاً حاسمًا في تحديد الأداء. في هذه البيئات، لا يعد زمن الاستجابة مجرد مقياس - فهو يؤثر بشكل مباشر على أداء التطبيق، ووقت الحل، وكفاءة المجموعة بشكل عام. بالنسبة لأحمال العمل التي تعتمد بشكل كبير على العمليات الجماعية لـ MPI (واجهة تمرير الرسائل) وأنماط الاتصال الشاملة، مثل التدريب على نماذج اللغة الكبيرة وديناميكيات الموائع الحسابية، يمكن أن تترجم الزيادات في زمن الاستجابة على مستوى الميكروثانية إلى ساعات من وقت التشغيل الإضافي. غالبًا ما تكافح شبكات Ethernet التقليدية، حتى مع RDMA عبر Ethernet المتقاربة (RoCE)، لتوفير زمن الوصول المنخفض الحتمي الذي تتطلبه هذه التطبيقات المتطلبة.

تمت مواجهة هذا التحدي مؤخرًا من خلال مختبر أبحاث وطني ينشر مجموعة HPC مكونة من 2000 عقدة لنمذجة المناخ وأبحاث الذكاء الاصطناعي. تطلبت المجموعة اتصالاً بسرعة 200 جيجابت/ثانية مع زمن وصول أقل من 100 نانو ثانية لدعم أحمال عمل HPC المستندة إلى MPI والتدريب الموزع على الذكاء الاصطناعي. كان الفريق الهندسي بحاجة إلى محول يمكنه تقديم أداء متسق ومنخفض زمن الوصول على نطاق واسع، مع دعم الميزات المتقدمة مثل التوجيه التكيفي والتحكم في الازدحام للحفاظ على كفاءة النسيج في ظل ظروف التحميل المختلفة. النفيديا ميلانوكس MQM8790-HS2Fظهرت كحل مثالي، حيث تقدم 40 منفذًا بتقنية HDR InfiniBand بسرعة 200 جيجابت/ثانية مع زمن وصول أقل من 100 نانو ثانية وقدرات حوسبة متقدمة داخل الشبكة.

الحل والنشر: بناء نسيج InfiniBand منخفض الكمون

ولمواجهة تحديات زمن الوصول وقابلية التوسع، قام المختبر بنشرنفيديا ميلانوكس MQM8790-HS2Fباعتباره المفتاح الأساسي في بنية النسيج ذات الأوراق الشوكية. هذاMQM8790-HS2F التبديل إنفينيبانديوفر 40 منفذ QSFP56، يعمل كل منها بسرعة HDR تبلغ 200 جيجابت/ثانية، مما يوفر قدرة تحويل إجمالية تبلغ 8 تيرابايت/ثانية مع زمن انتقال من منفذ إلى منفذ أقل من 100 نانو ثانية. تم تصميم النسيج ببنية مكونة من 4 محاور و16 ورقة، تربط 2000 عقدة حوسبة، كل منها مزود بمحولات ConnectX‑6 HDR. الMQM8790-HS2F 200 جيجابت / ثانية HDR 40 منفذ QSFP56مكّن التكوين الفريق من بناء نسيج غير معوق مع عرض نطاق ترددي كامل، مما يضمن أن كل عقدة يمكنها التواصل مع كل عقدة أخرى بسرعة السلك.

تم تنفيذ النشر على ثلاث مراحل رئيسية:

• تصميم القماش:باستخدامحل التبديل MQM8790-HS2F InfiniBand، قام الفريق بتصميم طوبولوجيا العمود الفقري حيث يتم توصيل كل محول من المحولات ذات الـ 16 ورقة بـ 50 عقدة حسابية (باستخدام مجموعة من الاتصالات المباشرة بسرعة 200 جيجابت/ثانية ووصلات اختراق HDR100 بسرعة 100 جيجابت/ثانية)، في حين توفر 4 محولات العمود الفقري اتصالاً بين الأوراق. الMQM8790-HS2Fتم تكوين المحولات مع تمكين التوجيه التكيفي، مما يسمح للنسيج بتوزيع حركة المرور ديناميكيًا عبر المسارات المتاحة وتجنب نقاط الازدحام.
• تكوين الميزات المتقدمة:قام الفريق بتمكين SHARP (بروتوكول التجميع والاختزال الهرمي القابل للتطوير) على محولات MQM8790-HS2F لتفريغ عمليات MPI الجماعية من العقد الحسابية. وقد أتاحت قدرة الحوسبة داخل الشبكة هذه للمحولات إجراء جميع عمليات التخفيض والبث مباشرة، مما أدى إلى تقليل عدد عمليات اجتياز الشبكة وتقليل زمن الوصول الإجمالي للاتصالات الجماعية.
• ضبط الأداء:تم تكوين إدارة الشبكة الفرعية باستخدام النظام الأساسي NVIDIA Unified Fabric Manager (UFM)، والذي يوفر رؤية في الوقت الفعلي لسلامة النسيج ومقاييس زمن الوصول وأنماط الازدحام. قام الفريق بضبط معلمات التحكم في الازدحام لتحسين الأداء لملف تعريف عبء العمل المختلط HPC وAI.

لأننفيديا ميلانوكس MQM8790-HS2Fيكونمتوافق مع MQM8790-HS2Fومع نظام NVIDIA InfiniBand الأوسع، بما في ذلك محولات ConnectX‑6 وBlueField‑2، كان النشر سلسًا، ولا يتطلب أي برامج تشغيل مخصصة أو تصحيحات للبرامج الثابتة. أدى تكامل المحول مع منصة UFM إلى تمكين الفريق من مراقبة أداء النسيج على نطاق واسع، وتحديد الاختناقات المحتملة وحلها قبل أن تؤثر على وقت تشغيل التطبيق.

النتائج والفوائد: تحسينات قابلة للقياس في زمن الوصول وأداء التطبيق

كشفت قياسات ما بعد النشر عبر المجموعة المكونة من 2000 عقدة عن تحسينات كبيرة في الأداء. أولاً، تم قياس متوسط ​​زمن الوصول من منفذ إلى منفذ عبر النسيج بمقدار 85 نانو ثانية - بما يتوافق مع مواصفات أقل من 100 نانو ثانية الموثقة فيورقة بيانات MQM8790-HS2F. وقد تُرجم هذا الكمون المنخفض مباشرة إلى مكاسب في أداء التطبيقات: حيث تم إكمال جميع العمليات التي تقلل MPI بسرعة تصل إلى 35% مقارنة بنسيج InfiniBand السابق الذي تبلغ سرعته 100 جيجابت/ثانية في المختبر، في حين شهدت وظائف تدريب الذكاء الاصطناعي الموزعة (باستخدام الاتصالات المستندة إلى NCCL) انخفاضًا في أوقات العصر من البداية إلى النهاية بنسبة 28% تقريبًا.

ثانيًا، قدمت قدرة الحوسبة SHARP داخل الشبكة فوائد كبيرة في الأداء. من خلال تفريغ العمليات الجماعية إلى محولات MQM8790-HS2F، خفضت المجموعة استخدام وحدة المعالجة المركزية ووحدة معالجة الرسومات لمهام الاتصال بنسبة تصل إلى 20%، مما أدى إلى تحرير موارد الحوسبة للحساب الفعلي. وكان هذا مفيدًا بشكل خاص للتدريب على الذكاء الاصطناعي على نطاق واسع، حيث يمكن أن يمثل التواصل الجماعي ما بين 30% إلى 40% من إجمالي وقت التشغيل.

ثالثًا، أثبتت ميزة التوجيه التكيفي أهميتها في الحفاظ على الأداء المتسق في ظل ظروف التحميل المختلفة. أثناء فترات الاستخدام القصوى، عندما تعامل النسيج مع مزيج من حركة مرور MPI وAI، يقوم التوجيه التكيفي بتوزيع حركة المرور ديناميكيًا عبر المسارات المتاحة، مما يحافظ على متوسط ​​زمن الوصول في حدود 10% من خط الأساس ويمنع تدهور الأداء الناجم عن الازدحام. قام الفريق بمراقبة سلامة النسيج باستخدام منصة UFM، التي توفر لوحات معلومات في الوقت الفعلي لتتبع زمن الاستجابة والإنتاجية واستخدام الارتباط عبر جميع المحولات العشرين.

رابعا: كثافةMQM8790-HS2F 200 جيجابت / ثانية HDR 40 منفذ QSFP56أتاح المفتاح بصمة قماشية مدمجة. قام المختبر بتقليل عدد المحولات المطلوبة بنسبة 50% مقارنة بالبنية الأساسية السابقة لـ InfiniBand بسرعة 100 جيجابت/ثانية، مما يقلل من استهلاك مساحة الحامل ومتطلبات الطاقة. يستهلك كل جهاز MQM8790-HS2F طاقة نموذجية أقل من 230 وات، مما يساهم في تقليل تكاليف التبريد للبنية التحتية للشبكات بنسبة 20%.

من منظور تشغيلي، أدت قدرات إدارة المحول إلى تبسيط عملية الصيانة المستمرة. استخدم فريق الشبكة بالمختبر واجهات CLI وWeb UI لإجراء ترقيات البرامج الثابتة وتغييرات التكوين دون تعطيل عمليات النسيج، مع الاستفادة من دعم المحول لإجراء ترقيات بدون أي تغييرات. المواصفات MQM8790-HS2Fيتضمن ميزات إدارة شاملة، بما في ذلك مراقبة SNMP وتكامل سجل النظام، مما يمكّن الفريق من دمج النسيج في إطار مراقبة مركز عمليات الشبكة (NOC) الحالي الخاص بهم.

الملخص والتوقعات: مخطط لأقمشة InfiniBand ذات الكمون المنخفض

تجربة النشر معنفيديا ميلانوكس MQM8790-HS2Fعبر مجموعة HPC وAI مكونة من 2000 عقدة يوضح بوضوح أن محول HDR InfiniBand ذو 40 منفذًا بسرعة 200 جيجابت/ثانية يمكنه توفير زمن الوصول المنخفض وقابلية التوسع والميزات المتقدمة المطلوبة لأحمال عمل الأبحاث والمؤسسات الصعبة. من خلال الاستفادة من زمن الوصول الذي يقل عن 100 نانو ثانية للمحول، والتوجيه التكيفي، وقدرات الحوسبة داخل الشبكة من SHARP، يمكن للمؤسسات إنشاء أنسجة تعمل على تسريع اتصالات MPI والذكاء الاصطناعي، وتقليل وقت الحل، وتحسين كفاءة المجموعة بشكل عام.

وبالنظر إلى المستقبل، مع استمرار مجموعات تدريب الذكاء الاصطناعي في النمو نحو أكثر من 10000 وحدة معالجة رسوميات وأنظمة HPC تتوسع إلى exascale، فإن الطلب على محولات InfiniBand عالية الكثافة ومنخفضة زمن الاستجابة سيزداد فقط. يتمتع الطراز MQM8790-HS2F بوضع جيد لهذا المسار، نظرًا لأن كثافته التي تبلغ 40 منفذًا وسعة التحويل 8 تيرابايت/ثانية ودعم سرعات HDR200 وHDR100 تضمن التوافق مع كل من عقد الحوسبة الحالية والجيل التالي. بالنسبة للمؤسسات التي تخطط لعمليات نشر مجموعات HPC أو AI مماثلة، فإن نهج العمود الفقري المتدرج الذي تم التحقق من صحته في هذا النشر يوفر خارطة طريق عملية: نشر المحولات الطرفية MQM8790-HS2F لاتصال الوصول، واستخدام محولات العمود الفقري ذات كثافة المنافذ الأعلى (مثل سلسلة QM9700 ذات 64 منفذًا) للأنسجة الأكبر حجمًا، والحفاظ على إطار إدارة موحد يستفيد من UFM لتحسين النسيج بشكل استباقي.

للحصول على قوالب تصميم النسيج التفصيلية، وأدلة ضبط الأداء، وقوائم التحقق من النشر، راجعورقة بيانات MQM8790-HS2Fووثائق بنية NVIDIA Mellanox InfiniBand.