مهايئ الخادم Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT قيد التشغيل | نقل RDMA/RoCE بزمن انتقال منخفض والخادم

ميلانوكس (NVIDIA Mellanox) MCX623106AN-CDAT محول الخادم في العمل.

في سيناريو توزيع شركة الإنترنت على نطاق واسعأصبحت فترة تأخير الشبكة ومصاريف وحدة المعالجة المركزية عقبات حاسمة لتوسيع نطاق استخدام GPU وأداء التخزين. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureهذه الدراسة الحالة تدرس كيفيةMCX623106AN-CDATمن ميلانوكس (NVIDIA Mellanox) تعاملت مع هذه التحديات وحولت شبكة النسيج إلى مسرع الحوسبة الحقيقي.

الخلفية والتحديات: عندما تصل NICs 25G إلى حدودها

تتكون بيئة الإنتاج من أكثر من 1200 عقدة حاسوبية مقسمة إلى منطقتين للتوافر ، وتدير مزيجًا من خدمات الاستدلال عبر الإنترنت وتدريب الذكاء الاصطناعي خارج الإنترنت وتخزين الكائنات الموزعة.أداة تحويل 25G Ethernet الحالية، على الرغم من أنها كافية للاتصال الأساسي، واجهت صعوبات في أحمال العمل المتزامنة.

• استخدام عال لـ CPU: معالجة كومة TCP / IP القائمة على البرمجيات تستهلك ما يصل إلى 35٪ من نواة وحدة المعالجة المركزية على عقد التخزين خلال الذروات I / O.
• فترة تأخير غير متسقة: فترة تأخير الذيل (p99) للعمليات الموزعة للحد من جميع العمليات غالبًا ما تتجاوز 50μs ، مما يؤدي إلى استغلال GPU بشكل ناقص أثناء مزامنة المعلمات.
• اختناقات التخزين: تعرضت حركة مرور NVMe-oF عبر Ethernet الخاسرة إلى انخفاض في الحزم ، مما أدى إلى إعادة الإرسال التي خفضت من السعة الفعلية بنسبة ما يقرب من 40٪.

بعد تقييم العديد من البدائل، بما في ذلك InfiniBand الملكية و 25G NICs المتنافسة، اختار الفريقNVIDIA Mellanox MCX623106AN-CDATلمزيجها الفريد من تسريع RoCEv2 القائم على الأجهزة، مسار البيانات القابل للبرمجة، والتوافق واسع النطاق.

حل و نهج التنفيذ

ركزت استراتيجية النشر على ثلاثة أعمدة:تمكين RDMA/RoCE,تنشيط التحميل الذكي، والهجرة التدريجية للسفن. كل عقدة حاسوبية تلقت واحدةبطاقة مكيستير إيثرنت MCX623106AN-CDAT، استبدال الجيل السابق من NICs دون تغيير البنية التحتية الأساسية 25G النحاس / الألياف.

من وجهة نظر التكوين، استفاد الفريقورقة بيانات MCX623106AN-CDATلتحسين المعلمات التالية:

• إعداد RoCEv2 PFC (تحكم التدفق الأولوي): تم تعريف فئات حركة المرور المخصصة بدون خسائر للتخزين (NVMe-oF) والاتصالات الجماعية للذكاء الاصطناعي ، بينما ظلت حركة المرور بأفضل جهد على طوابير منفصلة ذات خسائر.
• تم تمكين شحنات الأجهزة: تم تنشيط VXLAN/NVGRE tunnel offload ، وتقسيم مجموعات الاختبارات ، و LRO (Large Receive Offload) لتقليل تدخل وحدة المعالجة المركزية لكل حزمة.
• قابلية البرمجة جاهزة لـ DPU: باستخدام ASAP2، قام الفريق بنشر قواعد تدفق خفيفة الوزن لتوجيه حركة التخزين مباشرة إلى نقاط نهاية NVMe-oF المستهدفة، وتجاوز كومة شبكة النواة بالكامل.

كان التحقق من التوافق بسيطًامتوافق مع MCX623106AN-CDATتغطي القائمة جميع نماذج الخوادم في الأسطول (سلسلة Dell PowerEdge R750 و Supermicro Ultra) ، وتبنت العقد القائمة على Red Hat OpenShift و Ubuntu برامج التشغيل الجديدة دون مشكلة.

النتائج والفوائد القابلة للقياس

بعد ثلاثة أسابيع من نشر الإنتاج عبر 40٪ من أسطول الحوسبة ، كانت المكاسب في الأداء مرئية على الفور. يلخص الجدول التالي المقاييس الرئيسية قبل وبعد:

وبالإضافة إلى التحسينات الكمية، أبلغ فريق الهندسة عن تحول نوعي في استقرار التشغيل.تضمن آليات PFC و ECN (إخطار الازدحام الصريح) القائمة على الأجهزة أن حركة التخزين ظلت بلا خسائر تقريبًا، القضاء على العواصف المتتالية لإعادة الإرسال التي أثرت سابقا على SLAs التطبيق.بطاقة الشبكة PCIe MCX623106AN-CDATتم التعامل مع تشفير IPSec بمعدل خط للحركة المرورية للتكرار عبر المناطق ، مما يتيح لفريق الأمن فرض سياسات عدم الثقة دون نشر أجهزة تشفير مخصصة.

ملخص و نظرة مستقبلية

هذا النشر يسلط الضوء على أنحل البطاقات المتحولة لـ MCX623106AN-CDAT Ethernetليس مجرد ترقية تدريجية لـ NIC ‬إنه عامل استراتيجي لهياكل مراكز البيانات الحديثة. من خلال الجمع بين RoCEv2 المتسارع بالأجهزة، والقدرة على البرمجة المرنة،والقدرات الشاملة على التحميل، يُحول المحول بشكل فعال نسيج Ethernet القياسي إلى طبقة بنية تحتية ذات تأخير منخفض وكفاءة عالية.منظمة تكنولوجيا المعلومات تخطط الآن لتوسيع النشر إلى جميع العقد المتبقية وتقوم بتقييم النشاطمواصفات MCX623106AN-CDATللجيل القادم من تصاميم 50G Spine-Leaf.

بالنسبة لمهندسي البنية التحتية ومديري تكنولوجيا المعلومات الذين يواجهون سقف أداء مماثل،MCX623106AN-CDATيقدم مسارًا مقنعًا ومثبتًا. كما لاحظ أحد كبار المهندسين المعماريين:"لقد حققنا تأخيرًا أفضل من NICs 25G السابقة بنصف تكلفة وحدة المعالجة المركزية ، ولم نضطر إلى إعادة توصيل رف واحد".مع عريضةمتوافق مع MCX623106AN-CDATالنظام البيئي والتنافسيةMCX623106AN-CDAT السعروبالنسبة لتحديد الموقع، فإن هذا المكيف على ما يرام ليصبح الخيار الافتراضي لنشر 25G RoCE سواء كان عبء العمل هو تدريب الذكاء الاصطناعي أو التخزين الموزع أو التحليلات في الوقت الحقيقي.

العلامات:MCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx نشر RDMA/RoCE شبكات ذات تأخير منخفض تحسين قدرة الخادم