NVIDIA Mellanox MCX653105A-HDAT قيد التنفيذ: النقل بزمن وصول منخفض RDMA/RoCE وتحسين إنتاجية الخادم

NVIDIA Mellanox MCX653105A-HDAT قيد التشغيل: نقل بزمن استجابة منخفض RDMA/RoCE وتحسين إنتاجية الخادم

الخلفية والتحديات: عنق الزجاجة في الشبكة في مجموعة الذكاء الاصطناعي/الحوسبة عالية الأداء

قامت إحدى الشركات التكنولوجية الكبيرة مؤخرًا بنشر مجموعة مكونة من 128 عقدة مسرّعة بوحدات معالجة الرسومات (GPU) لتدريب نماذج اللغة الكبيرة (LLM)، مع تجهيز كل عقدة بثماني وحدات معالجة رسومات NVIDIA H100 وتخزين NVMe عالي الأداء. ومع ذلك، عند التوسع إلى ما بعد 32 عقدة، شهدت المجموعة تدهورًا كبيرًا في الأداء. ارتفع زمن استجابة الاتصال الجماعي All-Reduce إلى 8-10 مللي ثانية، بينما استهلكت مكدسات شبكات TCP/IP أكثر من 45٪ من موارد وحدة المعالجة المركزية لكل عقدة. أصبحت الشبكة - المبنية على روابط متعددة بسرعة 25 جيجابت في الثانية - عنق الزجاجة الأساسي، مما حد بشكل كبير من استخدام وحدات معالجة الرسومات وأطال دورات التدريب إلى ما هو أبعد من الجداول الزمنية المقبولة. احتاج الفريق بشكل عاجل إلى حل قادر على توفير زمن استجابة فائق الانخفاض وعرض نطاق ترددي هائل مع تفريغ معالجة الشبكة المكثفة لوحدة المعالجة المركزية.

الحل والنشر: تحويل النسيج باستخدام MCX653105A-HDAT

بعد تقييم تقني شامل، اختار الفريقNVIDIA Mellanox MCX653105A-HDAT كأساس لتحويل شبكتهم. تم تجهيز كل عقدة GPU بـبطاقة شبكة PCIe من محول MCX653105A-HDAT ConnectX، تم تكوينها باتصال مزدوج المنفذ بسرعة 100 جيجابت في الثانية لتوفير 200 جيجابت في الثانية من عرض النطاق الترددي الإجمالي لكل خادم.

تم تنفيذ النشر على أربع مراحل منظمة:

• المرحلة 1 - تركيب الأجهزة (128 عقدة): تلقى كل خادمبطاقة محول Ethernet MCX653105A-HDAT، مع توصيل كلا منفذي QSFP28 بمفاتيح NVIDIA Spectrum-4 ورقية مزدوجة متكررة. تم تثبيت المحولات بأحدث البرامج الثابتة ومكدس برنامج تشغيل NVIDIA OFED.
• المرحلة 2 - تكوين RoCEv2: قام الفريق بتمكين RoCEv2 عبر النسيج بأكمله، مع ضبط معلمات التحكم في تدفق الأولوية (PFC) والإشعار الصريح بالازدحام (ECN) بعناية لإنشاء بيئة Ethernet غير مفقودة. كانت ميزات إدارة الازدحام المتقدمة المفصلة فيورقة بيانات MCX653105A-HDAT أساسية في تحقيق تخصيص المخزن المؤقت الأمثل.
• المرحلة 3 - تحسين NCCL: تم إعادة تكوين مكتبة اتصالات NVIDIA الجماعية (NCCL) للاستفادة من إمكانيات RDMA للمحول، مع برمجة قواعد توجيه حركة المرور المخصصة في محركات المعالجة المدمجة للمحول للتحسين لأنماط all-reduce و all-gather المحددة لعبء عمل LLM.
• المرحلة 4 - التحقق والضبط الدقيق: باستخدام بيانات القياس عن بعد المكشوفة من خلالمواصفات MCX653105A-HDAT، قام الفريق بالتحقق من التكوين، وضبط إعدادات تعديل المقاطعة، وإنشاء مقاييس أداء أساسية للمراقبة المستمرة.

تجدر الإشارة إلى أن المحول أثبت أنهمتوافق مع MCX653105A-HDAT مع البنية التحتية للكابلات الحالية، حيث دعمت منافذ QSFP28 كلاً من بصريات 100 جيجابت في الثانية و 25 جيجابت في الثانية، مما أتاح ترحيلًا سلسًا دون استبدال الكابلات المزعج. استفاد الفريق أيضًا من إمكانيات المحول متعدد المضيف لدعم وظائف الحوسبة والتخزين على نفس المنفذ الفعلي.

النتائج والفوائد: مكاسب قابلة للقياس في أداء التدريب

تجاوزت تحسينات الأداء التي قدمهاNVIDIA Mellanox MCX653105A-HDAT جميع التوقعات الأولية. تم تلخيص مقاييس الأداء الرئيسية قبل وبعد الترقية أدناه:

بالإضافة إلى هذه الإنجازات الكمية، لاحظ الفريق فوائد تشغيلية كبيرة. اكتملت دورات التدريب التي كانت تستهلك سابقًا 12 يومًا في 4 أيام فقط، مما أدى إلى تسريع دورات تكرار النموذج بشكل كبير. سمح مسار بيانات المحول القابل للبرمجة بتشكيل حركة مرور مخصص للتدفقات ذات الأولوية، مما يضمن عدم تعرض حركة مرور الاتصالات الجماعية الحرجة للازدحام. بالنسبة للمؤسسات التي تقيم عائد الاستثمار، فإنسعر MCX653105A-HDAT ثبت أنه مبرر بالكامل من خلال مكاسب الإنتاجية البالغة 3 أضعاف والقدرة على تأجيل عمليات الاستحواذ على خوادم GPU الإضافية لمدة 12 شهرًا على الأقل. لاحظ الفريق أنMCX653105A-HDAT للبيع مع مفاتيح NVIDIA Spectrum-4 قدمت أفضل اقتصاديات للنشر الكامل للمجموعة.

الملخص والتوقعات: أساس للبنية التحتية للذكاء الاصطناعي من الجيل التالي

يؤكد هذا النشر على نطاق الإنتاج أنNVIDIA Mellanox MCX653105A-HDAT هو مكون تحويلي لمجموعات الذكاء الاصطناعي والحوسبة عالية الأداء الحديثة. يتيح الجمع بين عرض النطاق الترددي الإجمالي البالغ 200 جيجابت في الثانية، وزمن استجابة الاتصالات الجماعية أقل من 0.3 مللي ثانية، وتفريغ الأجهزة الشامل للمؤسسات تحقيق توسع شبه خطي لأعباء العمل المسرّعة بوحدات معالجة الرسومات. كحل شامل لـبطاقة محول Ethernet MCX653105A-HDAT، فإنه يزيل عنق الزجاجة في الشبكة الذي حد تاريخيًا من كفاءة التدريب الموزع.

بالنظر إلى المستقبل، تستكشف المؤسسة التكامل مع NVIDIA DOCA لتنفيذ برمجة إضافية لمسار البيانات للتحسين الخاص بعبء العمل. كما أنها تستفيد من القياس عن بعد المتقدم للمحول - الموثق على نطاق واسع فيورقة بيانات MCX653105A-HDAT - لبناء نماذج أداء تنبؤية واستراتيجيات آلية للتخفيف من الازدحام. أصبحNVIDIA Mellanox MCX653105A-HDAT حجر الزاوية في خارطة طريق البنية التحتية للذكاء الاصطناعي الخاصة بهم، مما يوفر أساسًا قويًا وقابلًا للتطوير للجيل القادم من تطوير ونشر النماذج الأساسية.