بطاقة NVIDIA Mellanox MCX653105A-HDAT في العمل | نقل RDMA/RoCE بزمن انتقال منخفض وزيادة إنتاجية الخادم

NVIDIA Mellanox MCX653105A-HDAT محول الخادم في العمل.

الخلفية والتحدي: اختناق تدريب الذكاء الاصطناعي

واجهت شركة رائدة في مجال التكنولوجيا المالية متخصصة في التداول الخوارزمي وتحليل المخاطر في الوقت الحقيقي تحديًا متعلق بالبنية التحتية.فريق التعلم الآلي الخاص بهم قام بنشر مجموعة تدريب موزعة تتألف من 32 خادمًا متسارعًاومع ذلك ، مع نمو تعقيد النموذج من ملايين إلى مليارات المعايير ، أصبحت فترة تأخر الشبكة هي الحاجز السائد.محولات 25GbE الموجودة، التي تعمل مع TCP / IP التقليدية ، أدخلت تأخر الذيل غير المتوقع الذي أبطأ بشكل كبير مزامنة التدرج عبر المجموعة.

معماري البنية التحتية للشركة حددوا مشاكل رئيسيةاستهلكت كومة TCP/IP موارد كبيرة من وحدة المعالجة المركزية على كل خادم ̇ ما يصل إلى 30٪ من النواة المتاحة ̇ مما قلل من القدرة المتاحة لتدريب النموذج الفعليثانياً، عدم وجود تحميل أجهزة لـ RDMA يعني أن نقل البيانات بين ذاكرة GPU والشبكة يتطلب نسخ ذاكرة متعددة.إضافة تأخيرات مستوى الميكرو ثانية التي تراكمت عبر الآلاف من تبادل المعلمات لكل خطوة تدريبكان الفريق بحاجة إلى حل يمكنه توفير اتصالات محددة منخفضة التأخير دون التضحية بسرعة خدمة الخادم أو تتطلب إصلاح كامل للشبكة.

الحل والتنفيذ: تنفيذ RoCE مع MCX653105A-HDAT

بعد تقييم العديد من الخيارات، اختارت الشركةNVIDIA Mellanox MCX653105A-HDATكالمكون الأساسي لترقية شبكتهم. تم نشر بطاقة الشبكة PCIe هذه في كل من 32 خادم تدريب، واستبدال محولات الجيل السابق.بطاقة الشبكة PCIe MCX653105A-HDAT ConnectXقدمت المزيج المطلوب من عرض النطاق الترددي العالي ودعم RoCEv2 المتسارع بالأجهزة ، مما يتيح اتصال RDMA حقيقي عبر نسيج Ethernet القائم.

اتبع النشر نهجاً منظمًا:

• التثبيت المادي:كل خادم تلقىبطاقة MCX653105A-HDAT Ethernet، متصلة عبر وصلات 25GbE SFP28 مزدوجة الموانئ إلى مفاتيح أعلى الرف الزائدة.
• تكوين RoCEv2:تم تكوين مفاتيح الشبكة مع التحكم في تدفق الأولوية (PFC) وإخطار الازدحام الصريح (ECN) لضمان نقل إيثيرنث بدون خسائر ‬ شرط أساسي لأداء RDMA الأمثل.
• GPUDالتكامل المباشر:استفاد الفريق من قدرات GPUDirect الخاصة بالمحول ، مما مكّن حركة البيانات المباشرة بين ذاكرة GPU وواجهة الشبكة دون مشاركة وحدة المعالجة المركزية المضيفة.
• كومة البرمجيات:تم تثبيت كومة برامج تشغيل شبكة NVIDIA ، وتم تكوين إطار التدريب (PyTorch مع مواكب البيانات الموزعة) لاستخدام طبقة نقل RDMA.

وفقًاورقة بيانات MCX653105A-HDAT، المكيف يدعم PCIe Gen 4.0 x16،توفير عرض النطاق الترددي المضيف يصل إلى 256 جيجابايت في الثانية ‬ كافٍ لتملأ منفذ 25GbE المزدوج بالكامل مع ترك مساحة كبيرة للترقية المستقبلية إلى 50GbE أو 100GbEلاحظ الفريق أن مرونة المحول جعلهامتوافق مع MCX653105A-HDATمع أجهزة الخادم القائمة التي تدعم كل من PCIe Gen 3.0 و 4.0.

الـمواصفات MCX653105A-HDATقاموا بتعديل معايير انقطاع التجميع لتوازن فترة التأخير مقابل استخدام وحدة المعالجة المركزيةوتكوين إعدادات الأولوية لكل طابور لضمان حركة مزامنة التدرجية تلقت أعلى معاملة QoS.

النتائج والفوائد القابلة للقياس

كانت التحسينات في الأداء كبيرة وقابلة للقياس مباشرة عبر أبعاد متعددة:

وبالإضافة إلى التحسينات الكميةNVIDIA Mellanox MCX653105A-HDATقدمت فوائد تشغيلية لم يتوقعها الفريق.وضمن التأخير الحتمي أن يتم تحقيق التقارب التدريبي باستمرار في أطر زمنية يمكن التنبؤ بها ، وهو شرط حاسم لدورات تطوير النماذج الحساسة للوقتتم إعادة توجيه نواة وحدة المعالجة المركزية المحررة نحو الحوسبة الفعلية، مما يزيد بشكل فعال من قدرة الحوسبة الفعلية للمجموعة دون إضافة أجهزة جديدة.

كما استفاد الفريق من تقنية القياس عن بعد المدمجة في المحول للحصول على رؤية في أنماط ازدحام الأقمشة.ساعدتهم هذه البيانات على تحسين تكوينات عازل الشبكة وتحديد التدهورات المحتملة في الأداء بشكل استباقي.حل البطاقات المتكاملة MCX653105A-HDAT Ethernetوقد أثبتت أنها تسريع للأداء وأداة استخبارات عملية.

ملخص وآفاق

هذا النشر أكد أنNVIDIA Mellanox MCX653105A-HDATهو أكثر من مجرد ترقية للشبكة، إنه استثمار استراتيجي في أداء الحوسبة الموزعة. من خلال تمكين RoCEv2 مع GPUDirect،المكيف يقلل من وقت التدريب بنسبة تزيد عن 70%، وتسريع وقت تسويق النماذج الجديدة، وتحسين فعالية البنية التحتية بشكل كبير.

الشركة تخطط الآن لتوسيع هذه الهندسة المعمارية إلى مجموعات إضافية، بما في ذلك منصة تحليل المخاطر في الوقت الحقيقي،عندما تكون حركة البيانات ذات الكمون المنخفض بين قواعد البيانات في الذاكرة وعقد الحوسبة ضرورية.MCX653105A-HDAT السعر، عندما يتم تقييمها مقابل وفورات التشغيل ومكاسب الأداء،تمثل عائدًا مقنعًا على الاستثمار خاصةً عند مقارنته بتكلفة نشر بنية تحتية InfiniBand المخصصة أو شراء عقدات حاسوب إضافية.

للمنظمات التي تقوم بتقييم نشطMCX653105A-HDAT للبيعالخيارات، هذه الدراسة الحالة تظهر أن المحول يقدم على وعده منخفضة الكمون، شبكة عالية النمو في بيئات الإنتاج في العالم الحقيقي.مزيج من تسريع الأجهزة، والقياس عن بعد شامل، والتوافق السلس مع البنية التحتية الحالية إيثرنت يجعلNVIDIA Mellanox MCX653105A-HDATمكون أساسي لمعماريات مراكز البيانات الحديثة.