ميلانوكس (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch في العمل

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch قيد التشغيل - تحسين الاتصال البيني منخفض زمن الاستجابة لمجموعات RDMA/HPC/AI

مع توسع مجموعات تدريب الذكاء الاصطناعي من آلاف إلى عشرات الآلاف من وحدات معالجة الرسومات، أصبح زمن وصول الشبكة والتحكم في الازدحام من العوامل الحاسمة في الاستخدام الفعال للحوسبة. قامت إحدى المنظمات البحثية العالمية الرائدة في مجال الذكاء الاصطناعي مؤخرًا بنشرميلانوكس (إنفيديا ميلانوكس) MQM9790-NS2Fالتحول لدعم الجيل القادم من مرافق الحوسبة الفائقة، ودعم نماذج اللغة واسعة النطاق، ومحاكاة الديناميكيات الجزيئية، والتعلم العميق الموزع. تتناول هذه المقالة النشر في العالم الحقيقي، وتوضح بالتفصيل كيف يقوم محول InfiniBand هذا بتحويل نقل RDMA، واتصالات HPC، وأنسجة التدريب المتوازية لبيانات الذكاء الاصطناعي.

الخلفية والتحديات: من التنازل عن شبكة إيثرنت إلى ضرورة التوصيل البيني بدون فقدان البيانات

اعتمدت المنظمة في البداية على نسيج إيثرنت بسرعة 100 جيجابت مع RoCEv2. ومع ذلك، نظرًا لنمو عقد GPU الخاصة بهم إلى أكثر من 1200 خادم (يحتوي كل منها على 8 × NVIDIA H100 GPU)، فقد واجهوا حالات توقف تام في PFC، وضبط ECN المعقد، وحالات إسقاط الحزم العرضية التي تسببت في توقف التدريب. أدت هذه المشكلات إلى زيادة متوسط ​​وقت إنجاز المهمة بنسبة تزيد عن 35% واستهلكت جهدًا هندسيًا كبيرًا في استكشاف أخطاء الشبكة وإصلاحها. ولم تعد البنية التحتية الحالية قادرة على توفير الكمون المحدد على مستوى الميكروثانية والإنتاجية الخالية من الازدحام المطلوبة للعمليات الجماعية الشاملة والشاملة.

الحل والنشر:MQM9790-NS2F إنفينيباند سويتشباعتبارها العمود الفقري للنسيج

وبعد تقييم البدائل المتعددة، اختار الفريقنفيديا ميلانوكس MQM9790-NS2Fباعتبارها لبنة البناء الأساسية للهندسة المعمارية الجديدة المكونة من طبقتين. كل رف أوراق مجهز باثنينMQM9790-NS2F 400 جيجابت/ثانية NDR 64 منفذ OSFPالمحولات، مما يوفر 64 منفذ OSFP لكل وحدة وسعة تحويل إجمالية تبلغ 25.6 تيرابايت/ثانية. تتيح سرعة NDR البالغة 400 جيجابت/ثانية لكل منفذ، جنبًا إلى جنب مع التحويل الشامل والتوجيه التكيفي، زمن انتقال من منفذ إلى منفذ أقل من 600 نانو ثانية - وهو مطلب بالغ الأهمية لأحمال العمل كثيفة استخدام وحدة معالجة الرسومات. استفاد النشر منحل التبديل MQM9790-NS2F InfiniBandمدمج مع البرنامج الثابت NVIDIA Quantum‑2، مما يضمن السلاسةمتوافق مع MQM9790-NS2Fالتشغيل مع محولات ConnectX‑7 الحالية ووحدات BlueField‑3 DPUs.

تتضمن خيارات النشر الرئيسية ما يلي:

• الطوبولوجيا:شجرة دهنية غير قابلة للحجب مزودة بـ 64 منفذًا من OSFP إلى أجهزة إرسال واستقبال ضوئية بسعة 400 جيجا، مما يتيح عرض نطاق ترددي كامل لجميع عقد وحدة معالجة الرسومات.
• إدارة:NVIDIA UFM (Unified Fabric Manager) للقياس عن بعد في الوقت الفعلي، واكتشاف الازدحام، وإعادة توجيه المسار بشكل استباقي.
• التفريغ الجماعي:تم تمكين SHARPv3 لتسريع جميع عمليات التخفيض، وتفريغ الاتصالات من وحدات المعالجة المركزية المضيفة.

ولضمان الانتقال السلس، استشار الفريقورقة بيانات MQM9790-NS2Fومواصفات MQM9790-NS2Fللتحقق من صحة متطلبات الطاقة والكابلات. يتلاءم عامل الشكل 1U ووحدات إمداد الطاقة الزائدة بدقة مع كثافة الحامل الحالية، وتدعم منافذ OSFP كلاً من كابلات DAC والوحدات الضوئية، مما يوفر المرونة للتوسع المستقبلي.

النتائج والفوائد المقاسة - مكاسب قابلة للقياس في الأداء والكفاءة

بعد النشر والتحسين الكاملين، قامت المؤسسة بتوثيق تحسينات كبيرة عبر أبعاد متعددة:

وبعيدًا عن الأرقام الأولية، أبلغ الفريق عن انقطاعات مرتبطة بالازدحام تقترب من الصفر، مما أدى إلى تبسيط عمليات الشبكة إلى حد كبير. القياس عن بعد المدمج والتوجيه التكيفي لـنفيديا ميلانوكس MQM9790-NS2Fيسمح بموازنة التحميل التلقائي عبر جميع منافذ OSFP البالغ عددها 64، مما يلغي التغيير والتبديل اليدوي لـ ECN. علاوة على ذلك، فإنMQM9790-NS2F التبديل إنفينيباندقدمت أداءً محددًا حتى في ظل استخدام الارتباط بنسبة 95% - وهو إنجاز مستحيل مع إعداد Ethernet السابق.

كما أشارت المنظمة إلى أنسعر MQM9790-NS2F، عند استهلاكها على مدى دورة حياة مدتها 5 سنوات، تم تعويضها بانخفاض استهلاك الطاقة لكل منفذ (≈1.5 وات لكل منفذ 400 جيجا) وانخفاض تكاليف الكابلات بسبب زيادة كثافة المنفذ. ومع نضج التوفر العام الآن، فقد أكدوا ذلكMQM9790-NS2F للبيعمن خلال القنوات المعتمدة جعلت عملية الشراء واضحة، وورقة بيانات MQM9790-NS2Fقدمت جميع تفاصيل التثبيت والامتثال اللازمة.

الملخص والتوقعات – مخطط للبنية التحتية للجيل القادم من الذكاء الاصطناعي

اعتمادميلانوكس (إنفيديا ميلانوكس) MQM9790-NS2Fفي مجموعة HPC/AI واسعة النطاق هذه، يوضح أن نسيج InfiniBand المصمم خصيصًا لهذا الغرض لم يعد ترفًا ولكنه ضرورة للمؤسسات التي تدفع حدود الذكاء الاصطناعي والحوسبة العلمية. من خلال توفير زمن وصول متسق يصل إلى ميكروثانية، ونقل RDMA بدون فقدان، وتسريع الحوسبة داخل الشبكة،MQM9790-NS2F 400 جيجابت/ثانية NDR 64 منفذ OSFPيعمل Switch على تمكين مراكز البيانات من تحقيق قابلية التوسع شبه الخطية بما يصل إلى عشرات الآلاف من وحدات معالجة الرسومات.

وبالتطلع إلى الأمام، يخطط الفريق لتوسيع النسيج بإضافات إضافيةMQM9790-NS2F التبديل إنفينيباندوحدات لدعم أعباء العمل القادمة لفئة إكساسكيل، بما في ذلك النمذجة المناخية وعلم الجينوم. المتوافق مع MQM9790-NS2Fالنظام البيئي مع أجيال NVIDIA المستقبلية يضمن حماية الاستثمار. بالنسبة للمهندسين المعماريين ومديري تكنولوجيا المعلومات الذين يقومون بتقييم ترقيات مماثلة، تؤكد هذه الحالة الواقعية أنحل التبديل MQM9790-NS2F InfiniBandيقدم مسارًا مثبتًا وفعالاً من حيث التكلفة لشبكات عنقودية عالية الأداء ومنخفضة الكمون - وهو عامل تمكين بالغ الأهمية للعقد القادم من ابتكارات الذكاء الاصطناعي.