NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch في العمل: تحسين اتصالات الإنترنت ذات الكمون المنخفض

مفتاح InfiniBand MQM9790-NS2F من NVIDIA Mellanox قيد التشغيل: تحسين الاتصال بزمن انتقال منخفض لمجموعات RDMA/HPC/AI

في تدريب الذكاء الاصطناعي، ومحاكاة الحوسبة عالية الأداء (HPC)، والتخزين الموزع واسع النطاق، غالبًا ما يحدد زمن انتقال الشبكة وعرض النطاق الترددي الحد الأعلى لكفاءة المجموعة. لمساعدة المؤسسات على تجاوز هذه العقبة، أصبح مفتاح InfiniBand MQM9790-NS2F من NVIDIA Mellanox مكون اتصال أساسيًا في العديد من عمليات نشر الذكاء الاصطناعي و HPC. تستعرض هذه المقالة ترقية واقعية لمجموعة تدريب ذكاء اصطناعي واسعة النطاق، موضحة كيف يقدم هذا المفتاح شبكات RDMA بزمن انتقال منخفض وزيادات قابلة للقياس في الأداء.الخلفية والتحدي: ضغط الشبكة من ألف وحدة معالجة رسومات إلى عشرة آلاف وحدة معالجة رسوماتقامت مؤسسة بحثية رائدة سابقًا بتشغيل مجموعة تضم ألف وحدة معالجة رسومات لتدريب نماذج اللغة الكبيرة ومحاكاة الطقس. مع نمو معلمات النموذج من عشرات المليارات إلى مئات المليارات، بدأت شبكة InfiniBand HDR الحالية بسرعة 200 جيجابت/ثانية في مواجهة الازدحام وزيادة حمل الاتصال. استغرقت عمليات All-Reduce عبر العقد وقتًا أطول بكثير، وغالبًا ما كانت وحدات معالجة الرسومات في وضع الخمول أثناء انتظار عمليات نقل الشبكة. احتاج المهندسون المعماريون بشكل عاجل إلى حل يوفر كثافة منافذ أعلى، وتوازن تحميل أكثر دقة، وتوافقًا كاملاً مع البنية التحتية الحالية لـ RDMA.

بعد تقييم شامل، اختار الفريق شبكة InfiniBand من فئة NDR بناءً على مفتاح NVIDIA Mellanox MQM9790-NS2F. بفضل 64 منفذ OSFP، يعمل كل منها بسرعة خط 400 جيجابت/ثانية، يتناسب المفتاح تمامًا مع متطلبات الإنتاجية لخوادم GPU من الجيل التالي.

الحل والنشر: شبكة NDR + شبكة RDMA بدون فقدان

في التصميم الجديد، تم تجهيز كل خادم GPU بمحولات ConnectX-7 مزدوجة المنافذ، متصلة بمفتاحين سفليين. في القلب، تشكل مفاتيح MQM9790-NS2F 400 جيجابت/ثانية NDR 64-port OSFP بنية Fat-Tree من طبقتين باستخدام بنية Clos غير مانعة. تم تمكين التوجيه التكيفي والتحكم في الازدحام، والاستفادة من InfiniBand RDMA الأصلي لنقل البيانات مباشرة من ذاكرة GPU إلى ذاكرة GPU بعيدة، متجاوزًا حمل وحدة المعالجة المركزية ومكدس البرامج.استخدام المنافذ والتوافق: يمكن للمحولات HDR الحالية العمل بسرعة مخفضة، مما يحمي الاستثمارات السابقة. تشمل قائمة MQM9790-NS2F المتوافقة خوادم GPU وأنظمة التخزين الرئيسية، ولا تتطلب تعديلات على برامج التشغيل أثناء النشر.

العمليات الذكية:

تراقب القياسات عن بعد المدمجة أخطاء الارتباط والازدحام في الوقت الفعلي، مما يساعد الفرق على عزل مشاكل وحدات الإرسال والاستقبال الضوئية أو الكابلات بسرعة وتقليل متوسط وقت الإصلاح بشكل كبير.النتائج والفوائد: انخفاض وقت تكرار التدريب بنسبة 38%، وانخفاض حمل الشبكة إلى 8%بعد الترقية، أجرت المؤسسة اختبارات مقارنة على أعباء العمل الإنتاجية. في مهمة تدريب مسبق من نوع GPT-style بمعلمات 100 مليار، قللت المجموعة المبنية على مفتاح InfiniBand MQM9790-NS2F وقت التكرار من 2.8 ثانية إلى 1.73 ثانية - تحسن بنسبة 38%. انخفضت حصة اتصالات الشبكة من زمن الانتقال الإجمالي من 22% إلى 8%، مما يعني أن وحدات معالجة الرسومات قضت وقتًا أطول بكثير في الحساب المفيد. بفضل الحوسبة داخل الشبكة SHARPv3 داخل مفتاح NDR، تضاعف تقريبًا عرض النطاق الترددي لعملية All-Reduce.

• على جانب التخزين، عززت NVMe عبر InfiniBand بزمن انتقال منخفض عرض النطاق الترددي الإجمالي للقراءة/الكتابة لنظام الملفات المتوازي بمقدار 2.3 مرة. تقلصت أوقات حفظ واستعادة نقاط الفحص من 12 دقيقة إلى أقل من 5 دقائق. تم التقاط هذه الأرقام في تقارير الاختبار الداخلية وتتوافق مع خط الأساس لمواصفات MQM9790-NS2F.الملخص والتوقعات: شبكة NDR كخيار افتراضي للبنية التحتية للذكاء الاصطناعي من الجيل التاليتوضح هذه الحالة بوضوح أنه بالنسبة لمجموعات RDMA/HPC/AI واسعة النطاق، فإن اعتماد حل مفتاح InfiniBand MQM9790-NS2F يقضي بفعالية على ازدحام الشبكة، ويعزز استخدام وحدة معالجة الرسومات، ويبسط العمليات. بالنسبة للمهندسين المعماريين الذين يخططون لمجموعات تضم عشرة آلاف وحدة معالجة رسومات، فإن ورقة بيانات MQM9790-NS2F هي مرجع أساسي لتقييم الطاقة وكثافة المنافذ ومجموعات الميزات. النموذج قيد الإنتاج حاليًا؛ للاستفسارات حول سعر MQM9790-NS2F أو MQM9790-NS2F للبيع، يرجى الاتصال بشركاء NVIDIA المعتمدين. مع دفع أعباء العمل المستقبلية الطلب نحو 800 جيجابت/ثانية وما بعدها، ستستمر منصة تبديل NDR في لعب دور محوري في إطلاق إمكانات الحوسبة.