Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter قيد التشغيل: نقل RDMA/RoCE بزمن استجابة منخفض والخادم

بطاقة خادم Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT قيد التشغيل: نقل RDMA/RoCE بزمن انتقال منخفض وتحسين إنتاجية الخادم

الخلفية والتحدي: اختناقات الشبكة في التخزين الموزع وتدريب الذكاء الاصطناعي

في بيئة إنتاج واقعية لدى مزود خدمة سحابية متوسط الحجم، تشمل محفظة الأعمال الأساسية التخزين الكتلي الموزع (Ceph) ومنصات تدريب نماذج الذكاء الاصطناعي المستندة إلى وحدات معالجة الرسومات. مع نمو حجم بيانات العملاء بمعدل سنوي يزيد عن 200%، كشفت بنية شبكة 10GbE TCP/IP القديمة تدريجياً عن نقطتي ضعف حرجتين. أولاً، وصل زمن انتقال مزامنة البيانات بين عقد التخزين إلى 2.5 مللي ثانية، مما منع مجمع تخزين NVMe من تقديم إمكاناته الكاملة للأداء. ثانياً، أثناء مزامنة التدرج في مجموعات تدريب وحدات معالجة الرسومات، لم تتمكن إنتاجية الشبكة من تحقيق سوى 60% من النطاق الترددي النظري، مع استهلاك جزء كبير من موارد وحدة المعالجة المركزية بواسطة مكدس بروتوكول الشبكة، مما أدى إلى إعاقة كفاءة تكرار التدريب بشدة. احتاج فريق البنية التحتية بشكل عاجل إلى حل واجهة شبكة قادر على تقليل زمن انتقال الإرسال وتحسين إنتاجية الخادم الفعالة بشكل كبير.

الحل والنشر: إعادة هيكلة RoCE باستخدام MCX631102AN-ADAT ConnectX-6 Lx

بعد تقييم العديد من البدائل، اختار الفريقMellanox (NVIDIA Mellanox) MCX631102AN-ADATككتلة بناء أساسية لمبادرة تحديث شبكتهم. تم نشربطاقة محول Ethernet MCX631102AN-ADATعبر 120 عقدة تخزين و 64 عقدة حوسبة لوحدات معالجة الرسومات، لتحل محل محولات 10GbE الحالية. تم تجهيز كل خادم بتكوين SFP28 مزدوج المنفذ بسرعة 25GbE، مع توصيل منفذ واحد بنسيج RoCE الإنتاجي والمنفذ الثاني محجوز لحركة المرور الإدارية والنسخ الاحتياطي. استفاد النشر من دعم RoCE v2 الأصلي لـMCX631102AN-ADAT ConnectX-6 Lx مزدوج المنفذ بسرعة 25GbE SFP28، مما يلغي الحاجة إلى أجهزة بوابة إضافية أو طبقات ترجمة البروتوكول.

تم تنفيذ التنفيذ على مراحل. في المرحلة الأولى، نشر الفريقحل بطاقة محول Ethernet MCX631102AN-ADATعلى عقد التخزين، مما يتيح NVMe عبر Fabrics (NVMe-oF) مع نقل RoCE. أدى ذلك على الفور إلى إلغاء الحمل الزائد لمكدس TCP/IP على مسارات إدخال/إخراج التخزين. في المرحلة الثانية، تم ترقية عقد حوسبة وحدات معالجة الرسومات، مع قدرة GPUDirect Storage للمحول على تمكين ذاكرة وحدة معالجة الرسومات من الاتصال مباشرة بتخزين NVMe عن بُعد عبر شبكة RoCE - متجاوزة تمامًا مشاركة وحدة المعالجة المركزية. اكتمل النشر بأكمله في غضون أسبوعين، مع الاحتفاظ بالبنية التحتية لمفاتيح 25GbE الحالية، مما يدل على طبيعةMCX631102AN-ADAT المتوافقةمع معدات شبكات مراكز البيانات القياسية.

النتائج المقاسة ومكاسب الأداء

كانت تحسينات الأداء بعد نشرNVIDIA Mellanox MCX631102AN-ADATكبيرة وقابلة للقياس فورًا عبر أبعاد متعددة. يلخص الجدول التالي المقاييس الرئيسية قبل وبعد التي لوحظت في بيئة الإنتاج:

بالإضافة إلى المقاييس الكمية، لاحظ الفريق تحسينات نوعية في الاستقرار التشغيلي. ألغى آلية التحكم في الازدحام المستندة إلى الأجهزة علىMCX631102AN-ADATالانخفاضات الدورية في الإنتاجية التي لوحظت سابقًا أثناء أحداث حركة المرور المفاجئة، مما يوفر أداءً يمكن التنبؤ به لوظائف التدريب الحساسة لزمن الانتقال. وفقًا لـمواصفات MCX631102AN-ADAT، ضمن محرك التوجيه المتقدم للمحول وقدرات RDMA أن الأداء بمعدل الخط كان ثابتًا باستمرار، حتى مع 128 اتصال NVMe-oF متزامن لكل منفذ.

من منظور التكلفة الإجمالية، حسب فريق البنية التحتية أنسعر MCX631102AN-ADATلكل جيجابت من الإنتاجية الفعالة كان أقل بكثير من الترقية إلى بدائل 40GbE أو 100GbE. القدرة على إعادة استخدام كابلات SFP28 الحالية والبنية التحتية للمفاتيح قللت بشكل أكبر من النفقات الرأسمالية، مما جعل تقييمMCX631102AN-ADAT للبيعحالة عمل مقنعة لقيادة المزود.

الملخص والتوقعات: بناء أساس شبكة جاهزة للمستقبل

يوضح النشر الإنتاجي لـMellanox (NVIDIA Mellanox) MCX631102AN-ADATمسارًا واضحًا للمنظمات التي تسعى إلى إطلاق الإمكانات الكاملة لبنيتها التحتية الموزعة. من خلال الجمع بين نقل RDMA/RoCE بزمن انتقال منخفض وتفريغات معجلة بالأجهزة، يلغي المحول بشكل فعال الشبكة كعنق زجاجة للأداء - سواء كان ذلك لتدريب الذكاء الاصطناعي، أو التخزين المعرف بالبرمجيات، أو معالجة المعاملات عالية التردد. تؤكد تجربة الفريق أنبطاقة محول Ethernet MCX631102AN-ADATتوفر ليس فقط تحسينات في المعايير، ولكن مكاسب إنتاجية ملموسة: انخفضت أوقات إكمال وظائف تدريب وحدات معالجة الرسومات بمتوسط 34%، وتم الوفاء باتفاقيات مستوى الخدمة لوقت استجابة مجموعة التخزين باستمرار حتى خلال فترات الحمل القصوى.

بالنظر إلى المستقبل، يخطط المزود لتوسيع نطاق نشرMCX631102AN-ADAT ConnectX-6 Lx مزدوج المنفذ بسرعة 25GbE SFP28إلى مناطق توفر إضافية، مع بدء التقييمات المبكرة بالفعل لدمج المحول مع وحدات معالجة البيانات BlueField من NVIDIA لمزيد من قابلية برمجة الشبكة. بالنسبة لفرق الهندسة التي تقيم ترقيات مماثلة، فإنورقة بيانات MCX631102AN-ADATالمفصلة توفر إرشادات شاملة حول مصفوفات التوافق، ومعلمات ضبط الأداء، وهياكل المرجع. تعزز هذه الحالة اتجاهًا واضحًا في الصناعة: أصبحت محولات 25GbE الذكية ذات التفريغ بالأجهزة مثل MCX631102AN-ADAT بسرعة هي المعيار الجديد لتصميمات مراكز البيانات التي تركز على الأداء.