NVIDIA Mellanox 920-9B110-00FH-0D0 in Practice: Optimizing Low-Latency RDMA Fabrics for HPC and AI Clusters

NVIDIA Mellanox 920-9B110-00FH-0D0 في الممارسة العملية: تحسين الأقمشة RDMA ذات الكمون المنخفض لمجموعات HPC و AI

الخلفية والتحدي: عندما يلتقي أداء HDR بالواقع المالي

لمختبر أبحاث الذكاء الاصطناعي متوسطة الحجم واجه مؤخرا تحديا مألوفا:التي نمت من 128 إلى 512 عقدة NVIDIA A100زاد وقت التدريب لنماذج المحولات الكبيرة بأكثر من 40٪ بسبب ازدحام الشبكة أثناء عمليات التخفيض الكلي ،وكان الفريق بحاجة إلى ترقية يمكن أن توفر مكاسب كبيرة في الأداء دون الإنفاق الرأسمالي المطلوب لنشر NDR كامل 400Gb / s.

قام المختبر بتقييم العديد من الخيارات و حدد 200Gb / s HDR كموازنة مثالية بين الأداء والتكلفة. ومع ذلك ، فقد كانوا بحاجة إلى مفتاح يمكن أن يوفر كثافة منفذ عالية ،التحكم المتقدم في الازدحام، والاندماج السلس مع كابلاتهم ومستقبلاتهم المتوافقة مع HDR الحالية.NVIDIA Mellanox 920-9B110-00FH-0D0دخلت الصورة ‬مفتاح تم بناؤه خصيصًا للبيئات التي يوفر فيها HDR عرض النطاق الترددي الكافي دون الإفراط في التوفير.

الحل والتنفيذ: نسيج HDR محسّن التكلفة

قام المختبر بنشر920-9B110-00FH-0D0 InfiniBand switch OPN(رقم الطلب) كحجر الزاوية لهندستهم الجديدة للعمود الفقري. حصل كل رف حاسوب على مفتاح واحد على أساس MQM8790-HS2F920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR- توفير 40 منفذًا من 200 جيجابايت في الثانية للاتصال بخوادم GPU عبر كابلات الارتباط المباشر OSFP إلى OSFP. في الطبقة العمود الفقري ، ربطت أربعة مفاتيح إضافية 920-9B110-00FH-0D0 جميع مفاتيح الأوراق ،إنشاء نسيج شجرة الدهون غير الممنوع مع عرض النطاق الترددي الكامل.

ما جعل هذا النشر فعالا بشكل خاص هو التكنولوجيا المتكاملة SHARPv2 (بروتوكول التجميع الهرمي القابل للتوسع والحد) ،الذي قام بتفريغ عمليات الاتصالات الجماعية مباشرة على نسيج التبديلفي الممارسة العملية هذا يعني أن العمليات الحد من كل شيء، التي استهلكت في السابق دورات كبيرة من وحدة المعالجة المركزية المضيفة وعرض النطاق الترددي للشبكة،تم الانتهاء منها في مرور واحد عبر النسيج مما يقلل بشكل كبير من أوقات الانتهاء من العمل.

وفقًاورقة بيانات 920-9B110-00FH-0D0، يقدم المفتاح فترة تأخير أقل من 200ns ، والتي تتوافق بشكل وثيق مع متطلبات أداء المختبر.920-9B110-00FH-0D0 متوافقةتضمنت النظام البيئي جميع أنواع الكابلات والبصريات التي كانت قد تمت معايرتها بالفعل ، مما يلغي الحاجة إلى جهود إعادة الكابلات المكلفة.

النتائج والمكاسب القابلة للقياس: من الحاجز إلى المُساعد

بعد النشر، قام المختبر بقياس التحسينات عبر عدة أبعاد حرجة:

• تقليل وقت الانتهاء من العمل:انخفضت تكرارات التدريب لنموذج 13B-parameter بنسبة 35٪ ، مع انخفاض فترة تأخير الحد من 12μs إلى أقل من 5μs للأحجام الجماعية النموذجية.
• استخدام الشبكة:ارتفع متوسط استغلال النسيج من 58٪ إلى 83٪ دون إثارة الازدحام ، بفضل آليات التوجيه التكيفية والتحكم في الازدحام.
• كفاءة الطاقة والتبريد:بالمقارنة مع نسيج EDR السابق، خفضت البنية التحتية الجديدة لـ HDR استهلاك الطاقة لكل ميناء بنسبة 30٪، مما سمح للمختبر بإضافة المزيد من عقد الحوسبة دون تجاوز ميزانية طاقة مركز البيانات.

من منظور التكلفة الإجمالية للملكية920-9B110-00FH-0D0 السعرفي الميناء كان أقل بكثير من بدائل NDR، مما مكّن المختبر من تحديث نسيجهم بأكمله ضمن ميزانيتهم الحالية.مواصفات 920-9B110-00FH-0D0كما سلطت الضوء على إمدادات الطاقة المزدوجة المتكررة للمفتاح ووحدات المروحة القابلة للتبادل الساخن، والتي ساهمت في هدف المختبر من 99.999٪ من التوافر لوظائف تدريب الإنتاج.

لاحظ مهندسو الشبكات أن920-9B110-00FH-0D0 حل InfiniBand switch OPNمتكاملة بسلاسة مع مدير النسيج الموحد من NVIDIA (UFM) ، وتوفير رؤية مركزية في صحة النسيج والتنبيه الآلي.هذا يقلل بشكل كبير من الوقت الذي يقضيه في استكشاف الأخطاء والصيانة الاستباقية، تحرير الفريق للتركيز على تحسين خطوط التدريب الخاصة بهم بدلا من إدارة الشبكة.

ملخص وتوقعات: مؤسسة HDR ذات الحجم الصحيح

الـNVIDIA Mellanox 920-9B110-00FH-0D0أثبتت أنها الخيار الصحيح لهذا المختبر البحثي، وتقديم أداء 200Gb / s HDR في هيكل التكلفة التي كانت منطقية في مجال الأعمال.قدرات الحوسبة داخل الشبكة، وميزات إدارة قوية، حول المختبر شبكتهم من خنق أداء إلى أساس قابل للتوسع للنمو في المستقبل.

بالنظر إلى المستقبل، يخطط المختبر لتوسيع نطاق المجموعة إلى 1024 عقدة خلال الـ 18 شهراً القادمةلديهم ثقة بأن شبكتهم يمكن أن تنمو جنبا إلى جنب مع قدراتهم الحاسوبيةبالنسبة للمنظمات التي تقوم بتقييم خيارات البنية التحتية الخاصة بها920-9B110-00FH-0D0 للبيعمن خلال شركاء قناة NVIDIA يقدم حلًا مقنعًا ، معتمدًا على الإنتاج يوازن بين الأداء والكثافة والتكلفة.