الحل الفني لمفتاح NVIDIA Mellanox MQM9790-NS2F InfiniBand

الحل التقني لمحول InfiniBand من NVIDIA Mellanox MQM9790-NS2F ｜ تحسين الاتصال منخفض الكمون لمجموعات RDMA و HPC و AI

خلفية المشروع وتحليل المتطلبات

مراكز البيانات الحديثة التي تدعم تدريب نماذج الذكاء الاصطناعي الكبيرة، ومحاكاة الحوسبة عالية الأداء (HPC)، والتخزين الموزع، تنتقل بسرعة من HDR بسرعة 200 جيجابت/ثانية إلى NDR بسرعة 400 جيجابت/ثانية. التوتر الأساسي لمهندسي الشبكات هو أن كثافة عقد GPU تستمر في الارتفاع، بينما يصبح زمن الوصول والارتعاش في الاتصال بين العقد العامل المحدد لكفاءة المجموعة. يمكن أن يؤدي مسار مزدحم واحد أو طبقة نسيج غير مهيأة بشكل صحيح إلى تقليل استخدام GPU الفعال عبر مئات العقد.

تشمل المتطلبات النموذجية لمثل هذا المشروع زمن وصول منخفض حتمي للعمليات الجماعية، ونقل غير فاقد لـ RDMA و NVMe over Fabrics، وعدد كبير من المنافذ للحفاظ على تسطيح النسيج، ومسار ترقية واضح يحمي الاستثمار الحالي. تم وضع محول InfiniBand MQM9790-NS2F من NVIDIA Mellanox كـ 400 جيجابت/ثانية NDR ضمن عائلة Quantum-2 لتلبية هذه المتطلبات.

تصميم بنية الشبكة والنظام الشاملة

البنية الموصى بها هي نسيج InfiniBand ذو طبقتين من spine-leaf مبني بالكامل على روابط NDR. تتصل محولات Leaf بخوادم GPU وأهداف التخزين وعقد الإدارة، بينما توفر محولات Spine الاتصال بين أوراق الشجر وتنوع المسارات. هذا التصميم يحافظ على عدد قليل من القفزات ويضمن عرض نطاق ترددي غير مانع لحركة المرور من الشرق إلى الغرب، والتي تهيمن على أعباء عمل الذكاء الاصطناعي و HPC.

على مستوى نقطة النهاية، تعمل محولات القناة المضيفة في وضع RDMA، مما يسمح بنقل الذاكرة إلى الذاكرة دون تدخل وحدة المعالجة المركزية. يتعامل النسيج نفسه مع التحكم في الازدحام، والتوجيه التكيفي، وتسريع العمليات الجماعية. تشترك حركة مرور الإدارة والقياس عن بعد في نفس البنية التحتية المادية ولكن يتم عزلها من خلال سياسات جودة الخدمة (QoS)، لذلك لا يتداخل المراقبة مع أعباء العمل الإنتاجية.

تشمل مبادئ التصميم الرئيسية:

• بنية مسطحة لتقليل زمن الوصول وتبسيط استكشاف الأخطاء وإصلاحها
• روابط غير مانعة أو ذات نسبة اشتراك منخفضة بين الطبقات
• NDR متسق من طرف إلى طرف لتجنب اختناقات الأجيال المختلطة
• مسارات متكررة للتوافر العالي وتوازن التحميل
• إدارة InfiniBand القياسية للاتساق التشغيلي

دور وميزات رئيسية لمحول NVIDIA Mellanox MQM9790-NS2F

يعمل محول NVIDIA Mellanox MQM9790-NS2F كوحدة بناء لهذا النسيج. كمحول MQM9790-NS2F بسرعة 400 جيجابت/ثانية NDR بـ 64 منفذ OSFP، فإنه يوفر كثافة منافذ عالية في وحدة واحدة، مما يمكّن المهندسين من تصميم شبكة أكثر تسطيحًا مع عدد أقل من الطبقات. يمكن تشغيل كل منفذ OSFP بسرعة NDR، ويدعم تكوين 64 منفذ أدوار Leaf و Spine ذات عدد كبير من المنافذ.

بالنسبة للفرق التي تراجع مواصفات MQM9790-NS2F، تدعم المنصة NVIDIA SHARPv3 لتسريع العمليات الجماعية، والتحكم المتقدم في الازدحام، والتوجيه التكيفي. تستهدف هذه الميزات بشكل مباشر زمن الوصول الذيل ومشكلات الإدخال الشائعة في تدريب الذكاء الاصطناعي وأعباء عمل MPI. يدمج محول InfiniBand MQM9790-NS2F أيضًا مع أدوات إدارة InfiniBand القياسية، مما يقلل من منحنى التعلم التشغيلي.

عند التخطيط لحل محول InfiniBand MQM9790-NS2F، يجب على المهندسين تأكيد المكونات المتوافقة مع MQM9790-NS2F، بما في ذلك كابلات OSFP ومحولات القناة المضيفة وإصدارات البرامج الثابتة. يساعد مراجعة ورقة بيانات MQM9790-NS2F في مرحلة التصميم المبكرة على التحقق من متطلبات الطاقة والتبريد ومساحة الرف قبل الشراء.

توصيات النشر والتوسع

يبدأ النشر النموذجي بـ "بود" تجريبي يتكون من 32 إلى 64 عقدة GPU متصلة بزوج من محولات Leaf MQM9790-NS2F. تتم إضافة اتصال Spine مع نمو المجموعة، باستخدام وحدات MQM9790-NS2F إضافية للحفاظ على عرض نطاق ترددي غير مانع. يسمح هذا النهج التدريجي بالتحقق من زمن الوصول وعرض النطاق الترددي قبل النشر على نطاق واسع.

للتوسع، تتمثل الممارسة الموصى بها في الحفاظ على تناسق النسيج: إضافة سعة Leaf و Spine بزيادات متطابقة بحيث تظل نسب الاكتتاب الزائد قابلة للتنبؤ. يجب توحيد إدارة الكابلات وتسمية المنافذ من البداية، لأن عمليات نشر OSFP عالية الكثافة يمكن أن تصبح صعبة الصيانة إذا كان التخطيط المادي غير متسق.

يلخص الجدول أدناه اعتبار تصميم تمثيلي من طبقتين:

العمليات والمراقبة واستكشاف الأخطاء وإصلاحها والتحسين

يعتمد النجاح التشغيلي على الرؤية. توفر شبكات InfiniBand عدادات لأخطاء الارتباط، وأحداث الازدحام، واستخدام المخزن المؤقت. يجب جمع هذه البيانات باستمرار وربطها ببيانات مجدول المهام، بحيث يمكن تتبع تدهور الأداء إلى أجزاء معينة من النسيج بدلاً من تخمينها.

تشمل سيناريوهات استكشاف الأخطاء وإصلاحها الشائعة توقف الائتمان، وسياسات QoS غير المهيأة بشكل صحيح، وعدم تطابق البرامج الثابتة بين المحولات والمحولات. يمكن لقائمة تحقق منظمة - التحقق من سرعة الارتباط، وفحص عدادات الأخطاء، وتأكيد سياسة التوجيه، وفحص بيانات الازدحام - تقليل متوسط وقت الحل. يجب أن تركز جهود التحسين على زمن الوصول الذيل بدلاً من متوسط عرض النطاق الترددي، لأن أعباء عمل الذكاء الاصطناعي و HPC حساسة للسلوك الأسوأ.

للتخطيط للمشتريات ودورة الحياة، غالبًا ما تقارن الفرق بين سعر MQM9790-NS2F وخيارات MQM9790-NS2F للبيع عبر القنوات المعتمدة. يعتمد التسعير على التكوين ومستوى الدعم والمنطقة، لذلك يوصى بالتواصل المبكر مع الموزعين وممثلي NVIDIA للمؤسسات.

يوفر محول NVIDIA Mellanox MQM9790-NS2F أساسًا عالي الكثافة، بسرعة 400 جيجابت/ثانية NDR للاتصال بين مجموعات RDMA و HPC و AI. من خلال تقليل طبقات النسيج، ودعم تسريع العمليات الجماعية، وتمكين نقل منخفض الكمون وغير فاقد، فإنه يعالج اختناقات الأداء التي تحد من كفاءة المجموعة في العالم الحقيقي. بالنسبة لمهندسي الشبكات ومهندسي المبيعات المسبقة، فإنه يمثل وحدة بناء عملية وقابلة للتطوير لشبكات InfiniBand من الجيل التالي.