NVIDIA Mellanox MCX653106A-HDAT قيد التنفيذ: النقل منخفض زمن الوصول RDMA/RoCE وتحسين إنتاجية الخادم

بدأ مزود سحابة رئيسي واسع النطاق يدير مجموعة مكونة من 256 عقدة لتدريب الذكاء الاصطناعي الموزع والتحليلات في الوقت الفعلي في مواجهة تدهور شديد في أداء الشبكة مع توسع بنيته التحتية. أظهرت شبكة TCP/IP الحالية التي تعمل بسرعة 25GbE زمن استجابة All-Reduce يتجاوز 6 مللي ثانية عبر 128 عقدة، بينما استهلكت وحدة المعالجة المركزية للمعالجة الشبكية أكثر من 40٪ من قدرة الحوسبة لكل خادم. حدد هذا الاختناق استخدام وحدة معالجة الرسومات (GPU) بنسبة 55٪ فقط، مما أدى إلى إطالة دورات التدريب بشكل كبير وتقليل القدرة على تحقيق الإيرادات. احتاج الفريق إلى حل يمكنه توفير زمن استجابة في نطاق الميكروثانية وعرض نطاق ترددي هائل مع توفير قابلية البرمجة اللازمة لتحسين حركة المرور الخاصة بأعباء العمل.

بعد تقييم فني شامل، اختار المزودNVIDIA Mellanox MCX653106A-HDATحجر الزاوية في تحول شبكته. تم تجهيز كل عقدة خادم بـبطاقة شبكة PCIe MCX653106A-HDAT ConnectX، تم تكوينها باتصال مزدوج المنفذ بسرعة 100GbE لتوفير عرض نطاق ترددي مجمع يبلغ 200 جيجابت في الثانية لكل عقدة.

• المرحلة الأولى - تجريبي (8 عقد):قام الفريق بتثبيتبطاقة محول Ethernet MCX653106A-HDATعلى مجموعة فرعية من خوادم GPU، وتكوين RoCEv2 مع PFC و ECN لإنشاء شبكة Ethernet غير قابلة للفقدان. تم إقران المحولات مع مفاتيح NVIDIA Spectrum-4 لإدارة الازدحام من طرف إلى طرف.
• المرحلة الثانية - التحقق والضبط:باستخدام بيانات القياس عن بعد الموثقة فيورقة بيانات MCX653106A-HDAT، قام الفريق بالتحقق من التكوين، وضبط معلمات DCB، وتحسين إعدادات الاتصال الجماعي NCCL. مكنت ميزات قابلية البرمجة المتقدمة للمحول من توجيه حركة المرور المخصصة لأنماط All-Reduce المحددة لعبء العمل.
• المرحلة الثالثة - طرح الإنتاج الكامل (256 عقدة):بعد التحقق الناجح، تم ترحيل المجموعة بأكملها إلى المحول الجديد. طبيعة الحلالمتوافقة مع MCX653106A-HDATضمنت التكامل السلس مع الخوادم الحالية وتوزيعات Linux.
• المرحلة الرابعة - التحسين المستمر:استفاد الفريق من القياس عن بعد المضمن للمحول ومسار البيانات القابل للبرمجة لتنفيذ سياسات توجيه خاصة بأعباء العمل، مما يزيد من تحسين الأداء لوظائف تدريب الذكاء الاصطناعي.

لاحظ الفريق أنحل بطاقة محول Ethernet MCX653106A-HDATقدم مسار ترحيل مباشر، حيث دعمت منافذ QSFP56 كلاً من بصريات 100GbE و 25GbE، مما أتاح انتقالًا سلسًا دون تعطيل الاتصال الحالي.

بالإضافة إلى هذه المكاسب الكمية، لاحظ المزود فوائد تشغيلية كبيرة. اكتملت دورات التدريب التي كانت تتطلب سابقًا 14 يومًا في 4.5 أيام فقط، مما أدى إلى تسريع وقت الوصول إلى السوق للخدمات الجديدة للذكاء الاصطناعي بشكل كبير. مكن مسار البيانات القابل للبرمجة للمحول من تشكيل حركة المرور المخصصة للتدفقات ذات الأولوية، مما يضمن عدم تعرض حركة الاتصال الجماعي الحرجة للازدحام. بالنسبة للمنظمات التي تقيم عائد الاستثمار، فإنسعر MCX653106A-HDATثبت أنه مبرر بالكامل من خلال زيادة الإنتاجية بمقدار 3* والقدرة على تأجيل عمليات الاستحواذ الإضافية للخوادم لأكثر من 18 شهرًا. لاحظ الفريق أيضًا أنMCX653106A-HDAT للبيعالحزم مع مفاتيح NVIDIA Spectrum-4 قدمت الاقتصاديات الأكثر ملاءمة للنشر على نطاق واسع.

استفاد المزود أيضًا من قدرات القياس عن بعد الشاملة المفصلة فيمواصفات MCX653106A-HDATلبناء نماذج أداء تنبؤية واستراتيجيات تخفيف الازدحام الآلية، مما يزيد من تعزيز الكفاءة التشغيلية.

يوضح هذا النشر على نطاق الإنتاج أنNVIDIA Mellanox MCX653106A-HDATهو مكون تحويلي للبنية التحتية الحديثة للذكاء الاصطناعي والسحابة. يتيح الجمع بين عرض النطاق الترددي المجمع البالغ 200 جيجابت في الثانية، وزمن استجابة الاتصال الجماعي أقل من 0.3 مللي ثانية، وعمليات التفريغ الشاملة للأجهزة، توسعًا شبه خطي لأعباء العمل المعجلة بواسطة وحدة معالجة الرسومات. كحل شاملحل بطاقة محول Ethernet MCX653106A-HDAT، فإنه يلغي عنق الزجاجة في الشبكة الذي حد تاريخيًا من كفاءة التدريب الموزع وتقديم الخدمات السحابية.

بالنظر إلى المستقبل، يستكشف مزود السحابة التكامل الموسع مع NVIDIA DOCA لتنفيذ قابلية برمجة إضافية لمسار البيانات لتحسين خاص بأعباء العمل عبر بيئات متعددة المستأجرين. كما أنهم يستفيدون من القياس عن بعد المضمن للمحول - الموثق على نطاق واسع فيورقة بيانات MCX653106A-HDAT- لتطوير أنظمة إدارة الأداء الآلية من الجيل التالي. أصبحNVIDIA Mellanox MCX653106A-HDATأساس خارطة طريق البنية التحتية للذكاء الاصطناعي الخاصة بهم، مما يوفر منصة قوية وقابلة للتطوير للجيل القادم من تدريب نماذج الأساس وخدمات التحليلات في الوقت الفعلي.