RDMA / RoCE نقل بطء منخفض وتحسين إمكانية إرسال الخادم

هذا الكتاب الأبيض التقني يوفر المهندسين المعماريين، المهندسين ما قبل المبيعات، ويقود العمليات مع تصميم مرجع شامل تركز علىNVIDIA Mellanox MCX631432AN-ADABهذا الحل يعالج تحديات مراكز البيانات الحديثة، وتحديداً، تكلفة المعالجة المركزية من كومة الشبكة القديمة، وتأخير التخزين غير المتسق، والعرضة النطاقية غير المستخدمة لـ 25 جيجابايتبطاقة مكياج إثنتر MCX631432AN-ADABكحجر الأساس للنسيج المتقارب RDMA/RoCE عالي الأداء.

1خلفية المشروع وتحليل المتطلبات

تعتمد شبكات مراكز البيانات التقليدية على TCP / IP لكل من حركة الحسابات والتخزين ، مما يجبر وحدة المعالجة المركزية على معالجة كل حزمة.NVMe-over-Fabrics (NVMe-oF)، أو أحمال عمل تدريب الذكاء الاصطناعي، هذا النهج القائم على البرمجيات يخلق ثلاثة مشاكل أساسية: فترة تأخير عالية ومتغيرة (غالبا ما تتجاوز 50μs لعمليات التخزين) ،ضريبة كبيرة على وحدة المعالجة المركزية (30-60٪ لمعالجة الشبكة)، وعدم كفاءة استخدام النطاق الترددي المادي بسبب تكاليف البروتوكول. مع أن 25GbE تصبح سرعة طبقة الوصول القياسية ، لم تعد هذه عدم الكفاءة مقبولة.المتطلبات المستهدفة لهذا الحل هي: تأخير تخزين من نهاية إلى نهاية أقل من 5μs، أقل من 10٪ من استغلال وحدة المعالجة المركزية للشبكة I / O، واستغلال مستوى الخط الكامل من منافذ 25GbE مزدوجة لكل خادم.

2تصميم بنية الشبكة/النظام بشكل عام

تعتمد الهندسة المعمارية المقترحة توبولوجيا ورقة العمود الفقري من مستويين مع إثنترون بلا خسارة في الطبقة 2. يتم توزيع عقد الحوسبة والتخزين بالتساوي على المفاتيح الورقية ،كل منها تم تكوينه مع PFC (تحكم التدفق الأولوي) و ECN (إخطار الازدحام الصريح) لتمكين RoCEv2القرار المعماري الرئيسي هو نشرMCX631432AN-ADAB ConnectX-6 Lx منفذ مزدوج 25GbE SFP28يتم تخصيص طابور أولوية مخصص على أساس DSCP لحركة المرور RoCE ، منفصلة عن حركة المرور IP بأفضل جهد.يستخدم الإدارة المركزية Cumulus Linux أو SONiC من NVIDIA لتهيئة التبديل، في حين أن التنسيق من جانب المضيف يستفيد من كومة NVIDIA OFED.

3الدور والميزات الرئيسية لـ NVIDIA Mellanox MCX631432AN-ADAB

في هذا الحل،MCX631432AN-ADABتعمل كوسيلة حاسمة لتحويل خوادم السلع إلى عقد ذات تأخير منخفض وسرعة عالية.ورقة بيانات MCX631432AN-ADAB، المكيف يتضمن العديد من القدرات المتقدمة:

• تحميل RDMA للأجهزة:آلة الحالة الكاملة RoCEv2 في السيليكون، القضاء على معالجة النقل المستندة إلى البرمجيات.
• 25GbE SFP28 ذو منفذين:يدعم كل من الكابلات البصرية النشطة و DAC ، مع معالجة PPS مستقلة لكل منفذ.
• واجهة المضيف PCIe 4.0 x16:يوفر عرض النطاق الترددي ثنائي الاتجاه يصل إلى 200 جيجابايت في الثانية، مما لا يترك أي عنق الزجاجة بين المحول والذاكرة المضيفة.
• تشفير في الخط:معالجة IPsec و TLS بمعدل الخط، أمر بالغ الأهمية لشبكات التخزين ذات الثقة الصفرية.
• تسارع NVMe-oF:الترتيبات القيادة القائمة على الأجهزة ووضع البيانات الأمثل خصيصًا لـ NVMe / TCP و NVMe / RoCE.

وفقاً للمسؤولمواصفات MCX631432AN-ADAB، يوفر المحول أقل من 800ns تأخير الأجهزة ويدعم ما يصل إلى 200 مليون رسالة في الثانية. عندما يتم دمجها مع مكتبة RDMACM مفتوحة المصدر،يمكن للتطبيقات الانتقال من حوافز TCP إلى افعال RDMA مع أدنى تغييرات الكودبالنسبة للمنظمات التي تقوم بتقييم هذا الحل، من المهم أن نلاحظ أنمتوافق مع MCX631432AN-ADABتتضمن قائمة الخوادم جميع منصات OEM الرئيسية (Dell PowerEdge و HPE ProLiant و Lenovo ThinkSystem و Supermicro) مع برامج تشغيل معتمدة لـ RHEL و Ubuntu و Rocky Linux و Windows Server.

4توصيات النشر والتوسع

يتبع النشر النموذجي على مستوى الرف هذا النمط: كل عقدة حاسوبية أو تخزين تتلقى واحدةحل بطاقة MCX631432AN-ADAB Ethernet، مع منافذها المزدوجة التي تم تكوينها في ربط LACP النشط النشط للتكرار أو كمسارات نسيج منفصلة (واحدة إلى الورقة A ، وواحدة إلى الورقة B). الطوبولوجية الفيزيائية بسيطة:

• كل خادم → اثنين من وصلات 25GbE → اثنين من مفاتيح الورق المنفصلة (دعم التحول دون ضرب).
• مفاتيح ورقة → 100GbE uplinks → مفاتيح العمود الفقري اثنين لعدم حجب الشبكة الكاملة
• علامة DSCP مخصصة (على سبيل المثال ، 46) لحركة المرور RoCE عبر جميع المفاتيح مع تمكين PFC على تلك الفئة.

للتوسع إلى ما وراء 200 خادم، نوصي بنشر مجموعة RoCE منفصلة للتخزين والحوسبة على التوالي، أو استخدام سياسة QoS لضمان تحديد أولوية حركة RoCE للتخزين.ضبط العازل في مفاتيح الأوراق أمر بالغ الأهمية أيضا: يجب أن تزيد أحجام الخزنة المشتركة لكل منفذ إلى 12MB لموانئ 25GbE لاستيعاب الانفجارات الصغيرة دون فقدان الحزم. يمكن للمنظمات الرجوع إلىMCX631432AN-ADAB للبيعكتالوجات البائعين لتسعير الحجم،MCX631432AN-ADAB السعرلكل عقدة عادة ما يتم استردادها في غضون ستة أشهر بسبب توفير وحدة المعالجة المركزية ومكاسب كفاءة التخزين.

5العمليات، المراقبة وتعديل الأداء

بعد الاستخدام، تضمن الأدوات والممارسات التالية تأخيرًا منخفضًا مستمرًا:

• مراقبة الجانب المضيف:الاستخدامmlx_perfوإيثول -Sلتتبع عدادات RDMA لكل طابور، وإعادة إرسال PCIe، وعلامات ازدحام RoCE.
• أجهزة قياس المعلومات:تمكين مؤشر PFC و ECN لتسجيل الرسوم البيانية للكشف عن حجب رأس الخط قبل أن يؤثر على الإنتاج.
• توصيات التلائم:تم تعيينالتوازنلعزل نواة وحدة المعالجة المركزية (CPU) في طوابير إكمال RDMA؛ وزيادة الحجم الأقصى لطلب القراءة من PCIe إلى 4096 بايت؛ تعطيل ECN في طابور أفضل جهد لتجنب إشارات الازدحام الكاذبة.
• دورة حياة البرمجيات الثابتة والسائق:الاشتراك في NVIDIA OFED ملاحظات الإصدار؛بطاقة مكياج إثنتر MCX631432AN-ADABيدعم ترقية البرمجيات الثابتة في الموقع دون إعادة تشغيل المضيف بسبب بنوك الصور المزدوجة.

لاستكشاف الأخطاء ، يوفر عدادات الأخطاء المدمجة في المحول (على سبيل المثال ، أخطاء الرمز ، فشل سلامة الرابط المحلي) تشخيصًا سريعًا. عند الاندماج مع نماذج المفاتيح الجديدة ، تحقق من أنمتوافق مع MCX631432AN-ADABمصفوفة التشغيل المشترك التي تحتفظ بها NVIDIA.

6ملخص وتقييم القيمة

الـNVIDIA Mellanox MCX631432AN-ADABيقدم الحل القابل للقياس قيمة عبر ثلاثة أبعاد: الأداء، TCO، وبساطة التشغيل.ومعالجة بروتوكول التخزين من وحدة المعالجة المركزية إلى المحول، تصل المنظمات إلى تأخير NVMe-oF أقل من 5μs مع تحرير أكثر من 40٪ من دورات وحدة المعالجة المركزية من أجل منطق التطبيقات.والبرمجيات الناضجة من NVIDIA OFED تقلل من مخاطر التكاملبالنسبة للمعماريين الذين يخططون لنشر 25GbE الخضراء أو تحديث البنية التحتية القائمة المرتبطة بـ TCP، فإن هذا الحل التقني يركز علىMCX631432AN-ADAB ConnectX-6 Lx منفذ مزدوج 25GbE SFP28يمثل مسارًا مثبتًا وقابلًا للتوسع ومحميًا بالاستثمار لنجاح RDMA / RoCE.