NVIDIA Mellanox MCX631432AN-ADAB في العمل: RDMA / RoCE نقل بطء منخفض وتحسين إنتاج الخادم
July 28, 2026
NVIDIA Mellanox MCX631432AN-ADAB قيد التشغيل: نقل RDMA/RoCE بزمن استجابة منخفض وتحسين إنتاجية الخادم
الخلفية والتحديات: عنق الزجاجة في الشبكة في مجموعة تدريب الذكاء الاصطناعي
قامت شركة رائدة في مجال التكنولوجيا المالية مؤخرًا بنشر مجموعة ذكاء اصطناعي قائمة على وحدات معالجة الرسومات تضم 64 عقدة مصممة لتدريب استراتيجيات التداول عالية التردد، مع تجهيز كل خادم بتخزين NVMe عالي الأداء. ومع ذلك، عند التشغيل، انخفضت إنتاجية التدريب الفعلية بشكل كبير عن التوقعات. كشف تحليل ما بعد النشر أن شبكة الاتصال بين العقد القائمة على 10GbE TCP/IP أصبحت عنق الزجاجة الأساسي. أظهرت عمليات الاتصال الجماعي All-Reduce زمن استجابة يصل إلى 4-5 مللي ثانية، بينما تجاوزت الحمل الزائد لوحدة المعالجة المركزية لمعالجة بروتوكول الشبكة 40٪ - مما أدى إلى تجويع خطوط أنابيب معالجة بيانات وحدة معالجة الرسومات بشدة. احتاج الفريق بشكل عاجل إلى حل شبكة يمكنه تقليل زمن استجابة الاتصال بشكل كبير واستعادة سعة معالجة وحدة المعالجة المركزية.
الحل والنشر: بناء شبكة RoCE عديمة الفقدان باستخدام MCX631432AN-ADAB
بعد تقييم فني شامل، اختار الفريقNVIDIA Mellanox MCX631432AN-ADAB كأساس لترقية شبكتهم. تم تجهيز كل خادم بـMCX631432AN-ADAB ConnectX-6 Lx مزدوج المنفذ 25GbE SFP28 محول، مع توصيل كلا منفذي SFP28 بمفاتيح NVIDIA Spectrum-3 مكررة لإنشاء بنية عالية التوفر.
تم تنفيذ النشر على ثلاث مراحل متميزة:
- المرحلة 1 - تجريبي (8 عقد): قام الفريق بتثبيتبطاقة محول Ethernet MCX631432AN-ADAB على مجموعة فرعية من خوادم وحدات معالجة الرسومات، وتكوين RoCEv2 مع التحكم في التدفق بالأولوية (PFC) والإشعار الصريح بالازدحام (ECN) لإنشاء شبكة Ethernet عديمة الفقدان. تمت إعادة تجميع NCCL (مكتبة اتصالات NVIDIA الجماعية) مع دعم RDMA.
- المرحلة 2 - الضبط والتحقق: باستخدام بيانات القياس عن بعد المفصلة فيورقة بيانات MCX631432AN-ADAB، قام الفريق بضبط معلمات DCB وعتبات المخزن المؤقت للقضاء على عواصف إيقاف PFC مع الحفاظ على فقدان حزم قريب من الصفر. الـمواصفات MCX631432AN-ADAB وجهت تحسين اعتدال المقاطعة وأعماق قائمة الانتظار لملف تعريف عبء العمل المحدد.
- المرحلة 3 - طرح الإنتاج الكامل (64 عقدة): بعد التحقق الناجح، تم ترحيل العقد المتبقية إلى المحول الجديد. الـبرامج تشغيل متوافقة مع MCX631432AN-ADAB اندمجت بسلاسة مع بيئة Ubuntu الحالية ومكدس Mellanox OFED.
لاحظ الفريق أنحل بطاقة محول Ethernet MCX631432AN-ADAB وفر مسار ترحيل مباشر، حيث كانت المحولات متوافقة تمامًا مع كابلات SFP28 والبنية التحتية للمفاتيح الحالية، مما يلغي الحاجة إلى ترقيات إضافية مكلفة.
النتائج والفوائد: تحول قابل للقياس في زمن الاستجابة والإنتاجية
كانت مكاسب الأداء التي تم تحقيقها من خلال نشرNVIDIA Mellanox MCX631432AN-ADAB فورية وكبيرة. يلخص الجدول التالي المقاييس الرئيسية قبل وبعد الترقية:
| مقياس | قبل الترقية (10GbE TCP/IP) | بعد الترقية (MCX631432AN-ADAB مع RoCE) | تحسين |
|---|---|---|---|
| زمن استجابة All-Reduce (متوسط) | 4.7 مللي ثانية | 0.32 مللي ثانية | انخفاض 14.7 مرة |
| استخدام وحدة المعالجة المركزية للشبكة (لكل عقدة) | 42% | 9% | 33 نقطة مئوية محررة |
| استخدام وحدة معالجة الرسومات (مرحلة تحميل البيانات) | 61% | 89% | +28% |
| إنتاجية تدريب المجموعة | 1.8x خط الأساس | 4.3x خط الأساس | زيادة 2.4 مرة |
بالإضافة إلى هذه المكاسب الكمية، لاحظ الفريق تحسينات تشغيلية أثرت بشكل مباشر على إنتاجية المطورين. اكتملت دورات تدريب النماذج التي كانت تتطلب سابقًا 36 ساعة في 15 ساعة فقط، مما أتاح دورات تكرار أكثر تكرارًا. كما أدى تفريغ NVMe-oF المستند إلى الأجهزة إلى تقليل زمن استجابة الوصول إلى التخزين بنسبة 35٪، مما أدى إلى تسريع عمليات نقاط التحقق المكثفة للبيانات. بالنسبة للمؤسسات التي تقيم دراسة الجدوى التجارية، فإنسعر MCX631432AN-ADAB أثبت أنه تنافسي للغاية عند قياسه مقابل مكاسب الإنتاجية البالغة 2.4 مرة والقدرة على تأجيل عمليات الاستحواذ على خوادم وحدات معالجة الرسومات الإضافية. لاحظ الفريق أيضًا أنMCX631432AN-ADAB للبيع الحزم مع مفاتيح NVIDIA Spectrum قدمت المسار الأكثر فعالية من حيث التكلفة للتوسع المستقبلي.
ملخص وتوقعات: أساس لابتكار أعباء العمل المستقبلية
يوضح هذا النشر الإنتاجي أنNVIDIA Mellanox MCX631432AN-ADAB هو أكثر بكثير من مجرد تحديث شبكة روتيني - إنه عنصر بنية تحتية تحويلية يفتح الإمكانات الكاملة للحوسبة الحديثة المسرّعة بوحدات معالجة الرسومات. يضع مزيج عرض النطاق الترددي الإجمالي البالغ 50 جيجابت في الثانية، وزمن استجابة الاتصال الجماعي أقل من 0.4 مللي ثانية، وقدرات تفريغ وحدة المعالجة المركزية الدراماتيكية هذا المحول كخيار مثالي للمؤسسات التي تشغل أعباء عمل الذكاء الاصطناعي الموزع، والحوسبة عالية الأداء (HPC)، والتحليلات في الوقت الفعلي.
بالنظر إلى المستقبل، يستكشف فريق التكنولوجيا المالية التكامل مع NVIDIA DOCA لتسريع برمجة مسار البيانات بشكل أكبر ولتنفيذ توفير بدون لمس لتوسعات المجموعة المستقبلية. كما يقومون بتقييم قدرات القياس عن بعد للمحول - المفصلة بشكل شامل فيورقة بيانات MCX631432AN-ADAB- لبناء نماذج إدارة الازدحام التنبؤية. مع استمرارحل بطاقة محول Ethernet MCX631432AN-ADAB في إثبات قيمته، تخطط الشركة لتوحيد هذه المنصة لجميع استثمارات البنية التحتية المستقبلية، واثقة من أنها توفر أساسًا قويًا وقابلًا للتطوير للجيل القادم من التطبيقات المالية المدفوعة بالذكاء الاصطناعي.