محول خادم NVIDIA Mellanox MCX623106AN-CDAT قيد التنفيذ | مكاسب النقل وإنتاجية الخادم ذات زمن الوصول المنخفض RDMA/RoCE

NVIDIA Mellanox MCX623106AN-CDAT محول الخادم في العمل.

الخلفية والتحدي: عندما يلتقي 200GbE بجدار تنمية الذكاء الاصطناعي

منظمة أبحاث الذكاء الاصطناعي سريعة النمو دعونا نسميها "مختبرات ديبكور" كانت تواجه خنقاً حاسماً في التوسعتتكون من 512 NVIDIA H100 GPU موزعة على 128 عقدة، كانت تواجه تدهورًا حادًا في الأداء عندما تجاوزت 64 عقدة. المشكلة لم تكن الحوسبة أو الذاكرة ، ولكن نسيج الشبكة.كلّ خفض منحدرات التزامن كان يأخذ أكثر من 15 ثانية لكل تكرار، وانخفضت نسبة استخدام وحدة المعالجة المركزية إلى 62% فقط بسبب صالات الشبكة. بنيتها التحتية الحالية 100GbE، تعتمد على البرمجيات القائمة على TCP / IP ببساطة لا يمكن التعامل مع انفجار،أنماط الاتصال الحساسة للفترة الزمنية للتدريب الموزعكان الفريق بحاجة إلى حل يمكنه توفير معدل 200 جيجابايت مع تأخير محدد على مستوى الميكرو ثانية.

أدى تقييمهم إلىNVIDIA Mellanox MCX623106AN-CDAT✓ مكيّف خادم 200GbE مصمم لأكثر أحمال العمل المتطلبة من الذكاء الاصطناعي و HPC.بطاقة الشبكة PCIe MCX623106AN-CDATعرضت القدرات المتقدمة على إزالة الحملات وقدرات GPUDirect المطلوبة للقضاء على اختناقات الشبكة وتعظيم استغلال GPU.

الحل: نشر بطاقة MCX623106AN-CDAT Ethernet Adapter

تم نشر "ديب كور لابز"بطاقة مكيستير إيثرنت MCX623106AN-CDATعبر جميع عقد التدريب 128، مع كل خادم مجهز بمحول QSFP112 ذو منفذين متصل بنسيج ورقة العمود الفقري مبني على مفاتيح NVIDIA Spectrum-4.استفاد التنفيذ من دعم RoCE v2 الأصلي للمحول لتمكين نقل Ethernet بدون خسارة، مما يلغي الحاجة إلى نسيج انفيني باند منفصل. كان مفتاح الحل قدرة GPUDirect RDMA في المحول ،والتي مكنت حركة البيانات المباشرة بين وحدات المعالجة المركزية عبر الشبكة دون تدخل وحدة المعالجة المركزية.

قام الفريق بتكوين PFC (تحكم تدفق الأولوية) و ECN (إشعار الازدحام الصريح) على مستوى التبديل ،تخصيص الأولوية 3 لحركة الاتصالات الجماعية والأولوية 4 لتخزين I / Oكما قاموا بتطبيق تكنولوجيا التوجيه التكيفية لـ (نفيديا) لتوزيع حركة المرور بشكل ديناميكي عبر مسارات متعددة، وتقليل النقاط الساخنة.كان كل نظام التدريب يعمل على الـ RDMA، مع جميع 512 GPUs التواصل بسلاسة على RoCE.متوافق مع MCX623106AN-CDATأثبتت النظام الإيكولوجي قوية ✓ البطاقات دمجت بلا عيب مع الخوادم القائمة على H100 و NVIDIA NCCL (NVIDIA مكتبة الاتصالات الجماعية) دون أي تعديلات.

الفريق أشار إلىورقة بيانات MCX623106AN-CDATلتحسين معايير تخصيص العازل ومراقبة الازدحام،تحقيق الأداء الأمثل لبيئة عبء العمل المختلطة التي شملت كل من التدريب المتزامن (تهيمن على كل ما يقلل) والتحكم غير المتزامن.

النتائج القابلة للقياس: كفاءة التوسيع والإنتاجية واستخدام GPU

كان رفع الأداء تحولًا. مع RDMA على RoCE تم تمكينها عبرNVIDIA Mellanox MCX623106AN-CDAT، انخفض معدل تأخر التزامن من 15.2 ثانية إلى 1.8 ثانية فقط لكل تكرار ∙ تحسن 8.4 مرة. وهذا يترجم مباشرة إلى التقارب النموذجي الأسرع:انخفض إجمالي وقت التدريب لنموذج 70B الخاص بهم من 42 يوما إلى 19 يوما، وتسريع دورة البحث بأكثر من 50٪.

ارتفعت نسبة استخدام GPU، التي كانت تتراجع إلى 62٪ بسبب توقف الشبكة، إلى 94٪ بعد الترقية ٪ تحسن بنسبة 52٪ في قدرة الحوسبة الفعالة.وضع البيانات المتقدمة خارج النظام والحزمة القضاء على البثات الصغيرة التي كانت تسبب ارتفاعات تأخير الذيللضمان أداء ثابت في جميع العقد.

وبالإضافة إلى أداء التدريب، كانت مكاسب سعة الخادم مثيرة للإعجاب بنفس القدر.وتسارع RoCE خفض استخدام وحدة المعالجة المركزية لمعالجة الشبكة من 38% إلى أقل من 4% في جميع العقدهذا حرر قدرة كبيرة من وحدة المعالجة المركزية لمعالجة البيانات المسبقة، ضغط نقاط التحقق، وغيرها من المهام المساعدة التي كانت مقيدة سابقا.

الفوائد التشغيلية: تكاليف التكاليف الكاملة وكفاءة البنية التحتية

في حين كانت مكاسب الأداء كبيرة، كانت الفوائد التشغيلية والمالية ملحوظة بنفس القدر.حل البطاقات المتحولة لـ MCX623106AN-CDAT Ethernetخفضت التكلفة الإجمالية للملكية عن طريق القضاء على الحاجة إلى نسيج انفيني باند منفصل ‬ مما يوفر أكثر من 500 ألف دولار في تكاليف البنية التحتية للتبديل.ساهم تصميم المحول الفعال للطاقة (أقل من 20 واط لكل بطاقة) في توفير الطاقة القابلة للقياس عبر مجموعة 128 عقدة، مما يقلل من نفقات التبريد السنوية بنسبة 18٪.

لمديري تكنولوجيا المعلومات الذين يقومون بتقييمMCX623106AN-CDAT السعرضد الحلول البديلة، أشار مدير البنية التحتية في DeepCore إلى أن فترة الاسترداد كانت أقل من ستة أشهر بسبب وقت التدريب المختصر.والتي سرعت مباشرة خط تطوير المنتجاتوقد أقدر الفريق أيضًا قدرة المحول على المستقبل:MCX623106AN-CDAT للبيعاليوم يدعم 200GbE ولكنه متوافق أيضًا مع نظريات 100GbE و 50GbE ، مما يوفر المرونة للبيئات الهجينة السريعة والترقيات التدريجية.

وفقًامواصفات MCX623106AN-CDAT، يتضمن المكيف ميزات قياس بعيد شاملة ، بما في ذلك قياس بعيد للشبكة داخل النطاق (INT) وتتبع فترات الكمون لكل تدفق. دمجت DeepCore هذه المقاييس في كومة Prometheus / Grafana.,تمكين الكشف الاستباقي عن الازدحام الدقيق قبل أن يؤثر على أداء التدريب. كما استفاد الفريق من خوارزميات التحكم في الازدحام في المحول لتعديل عتبات ECN ديناميكياً،الحفاظ على السلوك دون خسائر حتى أثناء عمليات تحديد النقاط التي ولدت عبء شبكة إضافي.

ملخص وتوقعات: مخطط لشبكات على نطاق الذكاء الاصطناعي

رحلة "ديب كور لابز" معNVIDIA Mellanox MCX623106AN-CDATيوضح مخططًا واضحًا للمنظمات التي تبني أو تنمو بنية تحتية الذكاء الاصطناعي. من خلال الجمع بين سعة 200GbE مزدوجة ، وواجهة المضيف PCIe 5.0 ، و RDMA القابل لـ GPUDirect ،بطاقة مكيستير إيثرنت MCX623106AN-CDATيحول الشبكة من اختناقة التوسع إلى مضاعف أداء. النتائج:و 55٪ أسرع دورات التدريب تعبر عن قدرة المحول على تقديم نتائج تجارية ملموسة في أكثر بيئات الحوسبة تطلبا.

بالنظر إلى المستقبل، مع استمرار حجم النموذج في الضعف كل بضعة أشهر وتوسيع مجموعات التدريب الموزعة إلى الآلاف من وحدات المعالجة الفورية،بطاقة الشبكة PCIe MCX623106AN-CDATيوفر أساساً متيناً للأنسجة بدون خسائر، مع تأخير منخفض للغاية. بالنسبة للمهندسين المعماريين وقادة تكنولوجيا المعلومات الذين يخططون لاستثمارهم التالي في البنية التحتية للذكاء الاصطناعي، فإن هذا المحول لا يمثل مجرد مكون،ولكن عامل استراتيجي للتمييز التنافسيتتوفر معايير ضبط مفصلة ، ومخططات التنفيذ ، وتقارير معيار الأداء في الموقع الرسميورقة بيانات MCX623106AN-CDATإشارة أساسية لأي نشر واسع النطاق للذكاء الاصطناعي