NVIDIA Mellanox MQM9790-NS2F في العمل: بناء نسيج RDMA منخفض التأخير لمجموعات الذكاء الاصطناعي و HPC

NVIDIA Mellanox MQM9790-NS2F في العمل: بناء نسيج RDMA منخفض التأخير لمجموعات الذكاء الاصطناعي و HPC

الخلفية والتحدي: عندما يصبح التوسع في نطاق العمل مشكلة

وبما أن نماذج اللغة الكبيرة تتوسع من الآلاف إلى عشرات الآلاف من وحدات الرسومات، ومحاكاة الطقس تدفع نحو دقة على نطاق كيلومتر،تظهر قيود أنسجة إيثرنت التقليدية بوضوحفي هذه البيئات، فإن أنماط الاتصالات الجماعية MPI، مثل الحد من كل شيء والجميع للجميع، تضع متطلبات متطرفة على تأخير الشبكة ومراقبة الازدحام.حتى أعظم عقد الحوسبة تقضي جزءا كبيرا من دوراتها في انتظار البيانات، في الواقع إهدار موارد GPU مكلفة.

هذا بالضبط هو التحدي الذيNVIDIA Mellanox MQM9790-NS2Fعنوانات. كمفتاح 400Gb / s NDR InfiniBand مع 64 منفذ OSFP ، تم تصميمه لتقديم تأخير محدد ، تحت الميكرو ثانية عبر الآلاف من النقاط النهائية ،تمكين التوسع الخطي الحقيقي لحملات العمل الموزعة.

الحل والتنفيذ: نسيج العمود الفقري للورق الأورقية تم بناؤه لـ RDMA

في سيناريو نشر نموذجي لمختبر أبحاث الذكاء الاصطناعي الكبيرMQM9790-NS2F مفتاح InfiniBandيشكل جوهر طوبولوجية ورقة العمود الفقري ذات المستويين. في طبقة الورقة ، يتم تجهيز كل رف الحساب بواحدة أو اثنتين من وحدات MQM9790-NS2F ،توفير 64 منفذًا للاتصال بمعدل 400Gb / s إلى خوادم GPU عبر كابلات النحاس المباشرة OSFP إلى OSFP أو كابلات بصرية نشطةفي طبقة العمود الفقري، مفاتيح إضافية MQM9790-NS2F تربط الأوراق ببعضها البعض، مما يخلق نسيج شجرة الدهون غير الحاجز مع عرض النطاق الترددي الكامل.

What makes this solution particularly compelling is the switch's native support for RDMA over Converged Ethernet (RoCE) when operating in InfiniBand mode—though here it leverages InfiniBand's native RDMA capabilities for even lower latency and CPU offload.MQM9790-NS2F 400Gb / s NDR OSFP 64 منفذيدمج تكنولوجيا NVIDIA SHARPv3 (بروتوكول تجميع وتقليص هرمية قابلة للتوسع) ، والتي تنقل العمليات الجماعية مباشرة إلى نسيج المحول.هذا يعني أن عملية الحد الكامل التي عادة ما تعبر الشبكة عدة مرات يتم الانتهاء منها في مرور واحد، ويقلل من أوقات الانتهاء من المهمة بنسبة تصل إلى 30٪ لأعباء العمل المكثفة في الاتصالات.

لمهندسي شبكات تقييمMQM9790-NS2F حل مفتاح InfiniBand، يتم تبسيط عملية النشر بواسطة Unified Fabric Manager (UFM) من NVIDIA. يوفر UFM رؤية مركزية لصحة الأقمشة ، واكتشاف الطوبولوجيا الآلي ،ومراقبة الازدحام بشكل استباقي القدرات الحاسمة عند إدارة الأقمشة مع أكثر من 2وقد أبلغ المستخدمون الأوائل أنمتوافق مع MQM9790-NS2Fالنظام البيئي، والذي يتضمن مجموعة واسعة من الكابلات والمرسلات المعتمدة من NVIDIA، يسهل المشتريات ويقلل من مخاطر النشر.

النتائج والمكاسب القابلة للقياس: من النظرية إلى واقع الإنتاج

في نشر إنتاج حديث لمجموعة 2.048GPU مخصصة لتدريب نماذج المحولات على نطاق واسع، تمت الترقية من البنية التحتية HDR (200Gb / s) إلى NDR (400Gb / s)NVIDIA Mellanox MQM9790-NS2Fفي جوهرها، أدت إلى تحسينات قابلة للقياس عبر أبعاد متعددة:

• تقليل وقت الانتهاء من العمل:انخفضت تكرارات التدريب من نهاية إلى نهاية لنموذج 175B-parameter بنسبة 28٪ ، ويرجع ذلك إلى حد كبير إلى شحن SHARPv3 وتقليل فترة تأخير الذيل.
• استخدام الشبكة:ارتفع متوسط استغلال النسيج من 62٪ إلى 89٪ دون إثارة انهيار الازدحام، وذلك بفضل آليات التوجيه التكيفية المتقدمة والآليات التحكم في الازدحام.
• بساطة التشغيلمع 64 منفذًا لكل مفتاح ، تم تقليل عدد مفاتيح العمود الفقري المطلوبة إلى النصف مقارنة بتصميم HDR 32 منفذًا ، مما يقلل بشكل كبير من تعقيد الكابلات واستهلاك الطاقة لكل رف.

وفقًامواصفات MQM9790-NS2F، يوفر المفتاح تأخيرًا أقل من 100ns من منفذ إلى منفذ ويدعم ما يصل إلى 51.2Tb / s من طاقة التبديل الإجمالية ‬الأرقام التي تتوافق ارتباطًا وثيقًا مع الأداء الملاحظ في هذا النشر.لاحظ مهندسو الشبكات أيضا أنورقة بيانات MQM9790-NS2Fيعكس بدقة أداء العالم الحقيقي، مع عدم وجود مفاجآت خلال مرحلة التحقق من صحة.

من وجهة نظر تكاليف التكاليف الكاملة، فإن القدرة على توحيد المزيد من النقاط النهائية لكل مستوى المفتاح خفضت بشكل مباشر النفقات الرأسمالية.سعر MQM9790-NS2Fفي حين أن النقاط هي أعلى من حلول 200Gb / s المكافئة ، انخفضت تكلفة الشبكة لكل وحدة معالجة معالجة معالجة في الواقع بسبب الراديكس الأعلى والعدد المنخفض من طبقات التبديل.جنبا إلى جنب مع مكاسب الأداء، جعل الحالة التجارية واضحة للجنة الإدارة للمختبر.

ملخص وتوقعات: مؤسسة NDR للحوسبة على نطاق واسع

الـNVIDIA Mellanox MQM9790-NS2Fهو أكثر من ترقية تدريجية، يمثل تحولًا أساسيًا في كيفية تصميم مجموعات الحوسبة العالية والذكاء الاصطناعي.وتسريع الحوسبة في الشبكة في عامل شكل واحد 1U، فإنه يسمح للمهندسين المعماريين لبناء الأقمشة التي تنمو إلى عشرات الآلاف من النقاط النهائية دون التضحية بالأداء أو قابلية الإدارة.

بالنظر إلى المستقبل، حيث أن أحمال العمل تستمر في المطالبة بعرض النطاق الترددي الأعلى وأقل تأخيرًا، فإنMQM9790-NS2F مفتاح InfiniBandستعمل ككتلة بناء أساسية للجيل القادم من أنظمة الحجم الخارجي.تتيح توافقها مع منصات NVIDIA Quantum-2 الحالية والتكامل السلس مع UFM مسارًا سلسًا للهجرة للمنظمات التي ترقية من أنسجة HDRلمدراء تكنولوجيا المعلومات والمهندسين المعماريين تقييم استثماراتهم في شبكات الجيل القادم، يوفر MQM9790-NS2Fحل جاهز للإنتاج يوفّر وعداً بتحسين اتصالات RDMA ذات التأخير المنخفض.