ميلانوكس 920-9B210-00FN-0D0 InfiniBand Switch. حل فني لـ RDMA و HPC و AI Cluster مع تأخير منخفض

مفتاح InfiniBand Mellanox 920-9B210-00FN-0D0 | حل تقني لتحسين زمن الاستجابة المنخفض لشبكات RDMA و HPC والذكاء الاصطناعي

دليل شامل للهندسة المعمارية التقنية والنشر يغطي شبكات NVIDIA Quantum-2 NDR InfiniBand، وتسريع RDMA، وروابط مجموعات GPU القابلة للتوسع، وإدارة النسيج، وتحسين الأداء.

المنتج: NVIDIA QM9790 / MQM9790-NS2F   |   رمز SKU: 920-9B210-00FN-0D0   |   التقنية: 400Gb/s NDR InfiniBand

تفرض تطبيقات الذكاء الاصطناعي، والحوسبة عالية الأداء (HPC)، وأعباء عمل GPU الموزعة متطلبات غير مسبوقة على البنية التحتية لشبكات مراكز البيانات. مع نمو مجموعات الحوسبة، تحدد كفاءة الاتصال الشبكي بشكل متزايد ما إذا كانت موارد GPU باهظة الثمن يمكن أن تعمل بكامل إمكاناتها. يوفر مفتاح InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 منصة تبديل ذات نطاق ترددي عالٍ وزمن استجابة منخفض لبناء شبكات حوسبة مسرعة قابلة للتوسع.

مدعومًا بتقنية NVIDIA Quantum-2، يدعم QM9790 64 منفذًا غير مانع بسرعة 400Gb/s NDR InfiniBand عبر 32 موصل OSFP، مع إنتاجية تبديل ثنائية الاتجاه مجمعة تصل إلى 51.2Tb/s. تشرح هذه الورقة التقنية كيفية دمج المفتاح في بنيات الشبكات التي تدعم RDMA، وتحسين اتصالات الذكاء الاصطناعي الموزعة، وتصميم شبكات HPC مرنة، وإنشاء ممارسات نشر وتشغيل فعالة.

01. خلفية المشروع وتحليل المتطلبات

تربط منصات تدريب الذكاء الاصطناعي الحديثة عادةً خوادم GPU متعددة في مجموعات حوسبة موزعة. أثناء تدريب النموذج، تقوم وحدات معالجة الرسومات بتبادل التدرجات والمعلمات والنتائج الوسيطة بشكل متكرر باستخدام مكتبات الاتصال مثل NVIDIA NCCL. تعتمد تطبيقات HPC بشكل مشابه على تمرير الرسائل بزمن استجابة منخفض عبر MPI وأطر الحوسبة المتوازية الأخرى.

مع زيادة عدد عقد الحوسبة، يصبح حركة مرور الاتصال أكثر تعقيدًا. قد تواجه التطبيقات تشبع النطاق الترددي، ونقاط الازدحام، وتأخيرات الاتصال الجماعي، وأداء غير متناسق ناتج عن تنازع الشبكة.

يجب أن يلبي حل InfiniBand عالي الأداء المتطلبات التقنية التالية:

• نطاق ترددي عالٍ: توفير سعة ربط كافية لنقل البيانات على نطاق واسع بين خوادم GPU وعقد الحوسبة.
• زمن استجابة اتصال منخفض: تقليل التأخيرات المرتبطة بالمزامنة المتكررة وتبادل الرسائل الصغيرة.
• دعم RDMA: تمكين الاتصال الفعال من الذاكرة إلى الذاكرة مع تقليل مشاركة وحدة المعالجة المركزية.
• قابلية توسع الشبكة: دعم التوسع من رفوف الخوادم الفردية إلى شبكات الذكاء الاصطناعي و HPC متعددة الرفوف.
• تحسين حركة المرور: تحسين استخدام الشبكة من خلال التوجيه التكيفي وإدارة الازدحام.
• موثوقية التشغيل: إنشاء إجراءات المراقبة وعزل الأخطاء والتحقق من الأداء.

هدف التصميم: بناء شبكة InfiniBand قابلة للتوسع وذات نطاق ترددي عالٍ تقلل من اختناقات الشبكة وتدعم أداء RDMA المتوقع لتدريب الذكاء الاصطناعي الموزع والحوسبة العلمية وتطبيقات HPC كثيفة البيانات.

02. هندسة الشبكة والنظام الشاملة

تستخدم البنية المقترحة 920-9B210-00FN-0D0 InfiniBand switch OPN كوحدة بناء أساسية ضمن شبكة NDR عالية السرعة. اعتمادًا على نطاق النشر، يمكن للمفاتيح العمل في تصميم أحادي الطبقة أو طوبولوجيا ورقة-عمود متعددة الطبقات.

بالنسبة لمجموعات GPU متعددة الرفوف، يعد هيكل الشجرة السمينة ذو الطبقتين نقطة انطلاق عملية. تربط مفاتيح الأوراق خوادم الحوسبة، بينما تدعم مفاتيح الأعمدة الاتصال عالي النطاق الترددي بين الرفوف. يجب حساب تخصيص الوصلات الصاعدة وفقًا لأنماط حركة المرور المتوقعة، وعرض النطاق الترددي المطلوب للتقسيم، والاكتظاظ المقبول.

طوبولوجيا الشبكة المرجعية

تطبيقات تدريب الذكاء الاصطناعي / HPC
NCCL / MPI / UCX / RDMA
↓
خوادم GPU وعقد الحوسبة
محولات NVIDIA ConnectX InfiniBand
↓
طبقة الأوراق
مفاتيح NVIDIA Quantum-2 QM9790 NDR
↓
طبقة الأعمدة
مفاتيح NVIDIA Quantum-2 QM9790 NDR
↓
رفوف GPU أخرى / عقد حوسبة HPC
مدير شبكة فرعية خارجي / إدارة شبكة NVIDIA UFM

في هذه البنية، تستخدم عقد الحوسبة محولات شبكة قادرة على RDMA للوصول إلى شبكة InfiniBand. توفر طبقة الأوراق الاتصال المواجه للخادم، بينما تدعم طبقة الأعمدة الاتصال بين مقاطع الشبكة المختلفة. يتطلب التصميم غير المانع عرض نطاق ترددي كافٍ للوصلات الصاعدة بالنسبة للوصلات الهابطة المتصلة.

قد توزع عمليات نشر الذكاء الاصطناعي الكبيرة أيضًا الاتصال عبر مسارات شبكة مستقلة متعددة لتحسين عزل الأخطاء واستخدام النطاق الترددي. يجب النظر في محاذاة المسارات، ووضع المحولات، وتقارب NUMA، وطوبولوجيا GPU معًا لمنع قيود جانب المضيف من تقليل فوائد التبديل عالي السرعة.

03. دور وميزات مفتاح NVIDIA Mellanox 920-9B210-00FN-0D0

يعد مفتاح InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR إلى عائلة NVIDIA Quantum-2 QM9790. إنه نظام تبديل InfiniBand غير مُدار مصمم للشبكات المُدارة خارجيًا، ويدعم الاتصال الكثيف والاتصال عالي السرعة بين عقد الحوسبة المسرعة.

تلخص مواصفات 920-9B210-00FN-0D0 التالية خصائص المنتج ذات الصلة بهندسة الشبكة واختيار الأجهزة.

تحسين الاتصال القائم على RDMA

يسمح الوصول المباشر عن بعد للذاكرة للأنظمة المشاركة بنقل البيانات بين مناطق الذاكرة المسجلة مع تقليل عبء معالجة وحدة المعالجة المركزية. في بيئات الذكاء الاصطناعي و HPC، تدعم هذه الإمكانية الاتصال الفعال بين العقد ويمكن أن تقلل من تكاليف نقل البيانات المتعلقة بالبرامج.

مع محولات NVIDIA ConnectX المتوافقة ومكدس البرامج المُعد بشكل مناسب، يمكن للتطبيقات استخدام نقل RDMA من خلال أطر عمل مثل UCX و MPI و NCCL. قد يزيد GPU Direct RDMA من تحسين نقل البيانات حيث تدعم منصة الأجهزة وبرامج التشغيل وتكوين التطبيق ذلك.

التوجيه التكيفي وإدارة الازدحام

يدعم NVIDIA Quantum-2 آليات التوجيه التكيفي التي يمكنها توزيع حركة المرور عبر مسارات الشبكة المتاحة. بالاقتران مع التحكم في ازدحام InfiniBand، وقدرات جودة الخدمة، وإدارة المسارات الافتراضية، تساعد هذه التقنيات في معالجة نقاط الازدحام وتحسين استقرار الاتصال.

تعتمد الفوائد الفعلية على طوبولوجيا الشبكة، وسياسات التوجيه، وقدرات البرامج الثابتة، وتكوين إدارة الشبكة الفرعية. يجب على مهندسي الشبكات التحقق من هذه الإعدادات تحت حركة مرور التطبيق التمثيلية بدلاً من الاعتماد حصريًا على سعة التبديل النظرية.

حوسبة NVIDIA SHARP داخل الشبكة

يسمح بروتوكول NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) بمعالجة العمليات الجماعية المدعومة داخل شبكة النسيج. من خلال تقليل حجم البيانات المتبادلة أثناء عمليات الاختزال المدعومة، يمكن لـ SHARP تحسين كفاءة الاتصال لأعباء عمل الذكاء الاصطناعي و HPC المختارة. يتطلب النشر دعم البرامج الثابتة والمكونات الإدارية وبرامج التطبيقات المتوافقة.

04. استراتيجية النشر وتوسيع الشبكة

يجب أن يتبع نشر حل 920-9B210-00FN-0D0 InfiniBand switch OPN عملية تنفيذ منظمة تغطي توافق الأجهزة، وتخطيط الشبكة، والتحقق من الشبكة، ومتطلبات السعة المستقبلية. يقلل النهج المرحلي من مخاطر التكوين ويسهل تحديد مشكلات الأداء.

المرحلة 1: البنية التحتية للأجهزة والمادية

• تأكيد رمز SKU للمفتاح، و OPN القديم، وأبعاد الرف، ومتطلبات مزود الطاقة، واتجاه تدفق الهواء P2C.
• اختيار محولات ConnectX المتوافقة، ووحدات OSFP الضوئية، وكابلات DAC، أو الكابلات الضوئية النشطة بناءً على سرعة الارتباط والمسافة.
• تخطيط توجيه الكابلات، وتبريد الرف، وتكرار الطاقة، وتخصيص المنافذ المادية.
• التحقق من إصدارات البرامج الثابتة المدعومة والتوافقية للأجهزة قبل النشر الإنتاجي.

المرحلة 2: تكوين الشبكة والتحقق منها

نظرًا لأن QM9790 مفتاح غير مُدار، يلزم وجود مدير شبكة فرعية InfiniBand خارجي لتهيئة الشبكة وتكوين المسار. يمكن لـ NVIDIA UFM توفير قدرات إضافية لإدارة الشبكة والمراقبة والتشغيل عند نشره مع المكونات المدعومة.

يجب على مسؤولي الشبكة التحقق من حالات ارتباط المنافذ، والسرعات المتفاوض عليها، واكتشاف الشبكة الفرعية، وتكوين التوجيه، واتصال RDMA من طرف إلى طرف. عند الاقتضاء، قم بتكوين التقسيم، ومستويات الخدمة، والمسارات الافتراضية، وضوابط الازدحام، والتوجيه التكيفي وفقًا لمتطلبات التطبيق.

المرحلة 3: التوسع وتخطيط السعة

يجب أن يأخذ توسيع المجموعة في الاعتبار درجة المفتاح، وسعة الوصلات الصاعدة المتاحة، وتوزيع حركة المرور، وعدد طبقات الشبكة. على الرغم من أن QM9790 يوفر 64 منفذًا منطقيًا لـ NDR، يجب أن ينعكس ترتيب الواجهة المادية وتكوينات فصل الكابلات المدعومة بدقة في خطة تخصيص المنافذ.

بالنسبة لعمليات النشر الأكبر، يمكن إضافة مفاتيح أوراق وأعمدة إضافية لاستيعاب رفوف الخوادم الجديدة. يجب أن تأخذ خطط التوسع في الاعتبار التكرار، وفصل مسارات الشبكة، ومسافات الكابلات، والحفاظ على النطاق الترددي المطلوب بين مجموعات الحوسبة.

05. العمليات والمراقبة واستكشاف الأخطاء وإصلاحها

تتطلب عمليات InfiniBand الموثوقة رؤية مستمرة لحالة الارتباط، وصحة الشبكة، وسلوك الازدحام، وأداء عبء العمل. يمكن استخدام NVIDIA UFM وأدوات تشخيص InfiniBand المتوافقة لمراقبة ظروف الشبكة وتحديد أنماط الاتصال غير الطبيعية.

تشمل مراقبة العمليات الموصى بها:

• صحة الارتباط: مراقبة السرعات المتفاوض عليها، والأخطاء المادية، ورفرفة الارتباط، وأحداث انقطاع المنفذ.
• استخدام النطاق الترددي: تتبع حركة المرور المرسلة والمستلمة لتحديد الروابط المكتظة.
• مؤشرات الازدحام: فحص عدادات انتظار الإرسال، ونشاط التحكم في التدفق، ونقاط الازدحام لحركة المرور.
• إدارة الشبكة: التحقق من توفر مدير الشبكة الفرعية، واتساق التوجيه، وتغييرات الطوبولوجيا، والأجهزة المكتشفة.
• أداء التطبيق: ربط قياسات الشبكة بمقاييس NCCL و MPI وعبء العمل الإنتاجي.

لاختبار أداء مستوى الشبكة، يمكن للمهندسين استخدام أدوات InfiniBand مثل ibstat و ibdiagnet و perfquery، وأدوات أداء RDMA مثل ib_write_bw و ib_send_lat. يمكن لاختبارات NVIDIA NCCL ومعايير MPI توفير رؤى إضافية حول أداء الاتصال على مستوى التطبيق.

عند استكشاف أخطاء تدهور الأداء وإصلاحها، تحقق أولاً من الاتصال المادي، ثم سرعة المنفذ، وعدادات الأخطاء، وتوجيه الشبكة، ومؤشرات الازدحام. إذا ظلت مقاييس الشبكة سليمة، فقم بالتحقيق في عرض النطاق الترددي لـ PCIe على جانب المضيف، ووضع NUMA، وتقارب GPU، وإصدارات برامج التشغيل، وإعدادات اتصال التطبيق.

يجب أن يشمل قبول الأداء النطاق الترددي الفعال، وزمن استجابة الاتصال، وإنتاجية العمليات الجماعية، ووقت إكمال عبء العمل. يمكن لقياسات زمن الاستجابة P50 و P95 و P99 المساعدة في الكشف عن تباين الأداء تحت حركة المرور المستمرة أو المكثفة. يجب تحديد عتبات القبول باستخدام أهداف الخدمة الخاصة بالمشروع وبيانات خط الأساس المقاسة.

06. قيمة الحل وتقييم الأداء

يعد مفتاح InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR سعة الشبكة والهندسة المعمارية المطلوبة لبيئات الحوسبة الموزعة المتطلبة. تكمن قيمتها الرئيسية في تمكين الاتصال عالي السرعة، وتصميم شبكة قابلة للتوسع، والتكامل الفعال مع أنظمة الحوسبة القادرة على RDMA.

من منظور البنية التحتية، يمكن لاتصال 400Gb/s NDR وكثافة المنافذ العالية تقليل قيود الشبكات مع زيادة أحجام مجموعات GPU. تدعم ميزات InfiniBand المتقدمة توزيعًا أكثر كفاءة لحركة المرور، بينما تحسن إدارة الشبكة الخارجية الرؤية التشغيلية واستكشاف الأخطاء وإصلاحها.

يجب أن يقارن تقييم القيمة الكامل تكاليف النشر بالتحسينات القابلة للقياس في إنتاجية التطبيق، واستخدام GPU، واستقرار الشبكة، والكفاءة التشغيلية. يجب على الفرق التي تقيّم سعر 920-9B210-00FN-0D0 أيضًا حساب المحولات المتوافقة، والبصريات، والكابلات، وبرامج الإدارة، والطاقة، ومتطلبات الدعم.

مبدأ التقييم التقني: يجب تحديد نجاح ترقية شبكة InfiniBand من خلال قياسات الأداء المتكررة والتحقق من عبء العمل الإنتاجي. عرض النطاق الترددي للتبديل وحده لا يضمن تخفيضًا ثابتًا في وقت التدريب أو زمن استجابة التطبيق.

07. الخلاصة والتطوير المستقبلي

يعد مفتاح InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 حلاً شبكيًا عالي الكثافة مصممًا لتدريب الذكاء الاصطناعي وتطبيقات HPC وبيئات مراكز البيانات المسرعة. مع تقنية NVIDIA Quantum-2، و 64 منفذًا لـ NDR، وإنتاجية مجمعة ثنائية الاتجاه تصل إلى 51.2Tb/s، فإنه يوفر أساسًا لبناء شبكات حوسبة قابلة للتوسع بزمن استجابة منخفض.

يتطلب النشر الناجح أكثر من مجرد تركيب الأجهزة. يجب أن ينسق الحل المصمم جيدًا طوبولوجيا الشبكة، والمحولات القادرة على RDMA، والوصلات الضوئية، وتكوين مدير الشبكة الفرعية، وضبط عبء العمل، والمراقبة التشغيلية.

مع توسع مجموعات GPU وزيادة كثافة الاتصالات في أعباء العمل الموزعة، ستظل شبكات InfiniBand عالية الأداء مكونًا مهمًا في البنية التحتية للحوسبة المسرعة الحديثة. يوفر QM9790 خيارًا عمليًا للمؤسسات التي تبحث عن اتصال NDR موثوق ومسار واضح نحو هياكل شبكات متعددة الرفوف أكبر.

مرجع تقني: دليل مستخدم أنظمة مفاتيح InfiniBand NVIDIA QM97XX 1U NDR 400Gbps. يجب التحقق من مواصفات النشر النهائية، والميزات المدعومة، وتوافق البرامج الثابتة، والتكوينات المادية مقابل الوثائق الخاصة برمز SKU المنتج المحدد.

حلول شبكات InfiniBand من NVIDIA Mellanox

تقدم شركة Beijing Zhongke Xinyuan Technology Co., Ltd. أجهزة شبكات NVIDIA Mellanox ودعم الحلول لمراكز بيانات الذكاء الاصطناعي، ومجموعات GPU، وأنظمة HPC، والبنية التحتية للمؤسسات. تشمل محفظة منتجاتنا مفاتيح NVIDIA Quantum InfiniBand، ومحولات شبكة ConnectX، وأجهزة الإرسال والاستقبال الضوئية، وكابلات DAC/AOC عالية السرعة.

للعملاء الذين يبحثون عن مكونات شبكات متوافقة مع 920-9B210-00FN-0D0، ودعم اختيار المنتجات، ومعلومات التوفر، أو عروض الأسعار للمشاريع، يمكن لفريقنا المساعدة في تحديد الموديل، ومطابقة التكوين، وتخطيط المشتريات.