NVIDIA Mellanox MCX4121A-ACAT محول الخادم الحل الفني

تم تصميم هذا الحل التقني لمهندسي شبكة المعماريين، ومهندسي ما قبل البيع، ومدراء العمليات.NVIDIA Mellanox MCX4121A-ACATيسمح محول الخادم بنقل معدل تأخير منخفض على أساس RDMA / RoCE ويحسن بشكل كبير من سعة الخادم في بيئات مراكز البيانات الحديثة.

1خلفية المشروع وتحليل المتطلبات

تفرض شبكات TCP / IP التقليدية قيودًا أساسية على أحمال العمل الحساسة للأداء مثل قواعد البيانات الموزعة وتخزين NVMe-oF والتحليلات في الوقت الحقيقي.وتشمل نقاط الألم الرئيسية ارتفاع تكاليف وحدة المعالجة المركزية من معالجة كومة الشبكة، وتأخير لا يمكن التنبؤ به بسبب إعادة إرسال الحزم، ونسخ الذاكرة غير الفعال بين نواة ومتطلبات المساحات.

لمواجهة هذه التحديات ، تتطلب مراكز البيانات الحديثة حلًا للشبكات يوفر:

• فترة تأخير أقل من 10 ميكرو ثانية من النهاية إلى النهاية للحركة التخزينية وحركة حركة الكمبيوتر العالي
• تجاوز النواة والوصول المباشر إلى الذاكرة لتقليل حمل وحدة المعالجة المركزية
• نسيج إيثرنت بدون خسارة يدعم 25 جيجابايت لكل منفذ
• الاندماج السلس مع بنية تحتية Ethernet الحالية

الـMCX4121A-ACATوتلبي حل RoCE المستند مباشرةً لهذه المتطلبات مع الحفاظ على التوافق مع النظم الإيكولوجية القياسية للتبديل.

2تصميم بنية الشبكة والنظام بشكل عام

تعتمد الهندسة المعمارية المقترحة طوبولوجيا العمود الفقري مع إثنترانث بدون خسارة في طبقات الوصول 25GbE. يتم تجهيز كل خادم حاسوب أو تخزين بواحد أو اثنينبطاقات محولات إثنتر MCX4121A-ACAT، الاتصال بمفتاحات الأوراق عبر كابلات SFP28 DAC أو أجهزة الاستقبال البصرية.يدعم المفاتيح الورقية بروتوكولات بناء الجسر في مركز البيانات (DCB) بما في ذلك التحكم في تدفق الأولوية (PFC) واختيار الإرسال المحسن (ETS)، والتي هي ضرورية لحركة RoCE.

بالنسبة لتصاميم التوافر العالي ، تمكن محولات منفذين من التوصيل النشط النشط أو تكوينات التحول الفاشل. تجمع الطبقة العمود الفقري مفاتيح الأوراق باستخدام روابط صعودية 100GbE ،ضمان عرض النطاق الترددي غير الممنوع لنماذج حركة المرور من الشرق إلى الغربمفتاح هذا التصميم هو فصل حركة مرور تخزين RoCE من حركة مرور إدارة TCP / IP العادية باستخدام VLANs و QoS classes.

3دور NVIDIA Mellanox MCX4121A-ACAT وميزاتها الرئيسية

الـNVIDIA Mellanox MCX4121A-ACATبمثابة مكون نقطة نهاية حاسمة تمكن RDMA عبر Ethernet Converged. مبنية على ConnectX-4 Lx ASIC ،هذا المحول مزدوج الموانئ 25GbE SFP28 يوفر القدرات التسارعة الأجهزة التالية:

• تحميل أجهزة RoCE:إكمال معالجة نقل RDMA في السيليكون ، والقضاء على تكاليف البرمجيات
• التطابق بين العلامات واسترداد الجرسإدارة اتصال موثوقة بمساعدة الأجهزة
• افتراضية SR-IOV:ما يصل إلى 256 وظيفة افتراضية لكل منفذ للكونتينر وكثافة VM
• GPUDirect RDMA:الوصول المباشر إلى ذاكرة GPU لمجموعات تدريب الذكاء الاصطناعي / ML
• تحميل شبكة التغطية:تغليف الأجهزة / إزالة التغليف لـ VXLAN و NVGRE و Geneve

الـMCX4121A-ACAT ConnectX-4 Lx منفذ مزدوج 25GbE SFP28كما يدعم المكيف ميزات متقدمة بما في ذلك التوجيه التكيفي، والتحكم في الازدحام، وتفريغ العازل.ورقة بيانات MCX4121A-ACATيوفر مواصفات كهربائية، حرارية، وميكانيكية شاملة.

4توصيات النشر والتوسيع (مثالات الطوبولوجيا)

طوبولوجيا نموذجية 25GbE RoCE Fabric لـ 100+ عقدة:

• طبقة الوصول:48 منفذ 25GbE مفاتيح ورقة مع دعم DCB
• طبقة العمود الفقري:مفاتيح العمود الفقري ذات 32 منفذًا 100GbE
• محول الخادم: MCX4121A-ACAT(منفذ مزدوج) في فتحة PCIe 3.0 x8
• الكابلات:SFP28 DAC السلبي للأسطوانة الداخلية (≤ 5m) ، البصري النشط للأسطوانة العرضية

خطوات النشر:

• التحقق من إعدادات BIOS للخادم (تقسيم PCIe ، تمكين SR-IOV ، فوق فك تشفير 4G)
• تثبيتNVIDIA Mellanox MCX4121A-ACATالبرمجيات الثابتة عن طريق أدوات mlxup أو MST
• تكوين منافذ التبديل: أولوية PFC 3-5, تخصيص عرض النطاق الترددي ETS, DSCP الثقة
• تمكين RoCE على المضيف: تعيين وضع RoCE إلى v2 (صديق التوجيه) ، تكوين مقدمة GID
• التحقق من صحة السلوك بدون خسارة باستخدام iBdiagnet ومراقبة cqounter

للتوسع إلى 500+ عقدة، والنظر في نشر منفصلة RoCE تخزين نسيج لعزل حركة التخزين من الإنتاج الشرق الغرب الاتصالات.متوافق مع MCX4121A-ACATويتضمن النظام الإيكولوجي جميع الشركات الرئيسية في صناعة الخوادم وشركات التبديل، مما يضمن التوسع السلس.

5العمليات، المراقبة، حل المشاكل وتحسين

مقاييس الرصد الرئيسية:

• قطرات حزمة RoCE (يشير إلى مشاكل تكوين PFC)
• عمق طابور إكمال RDMA إرسال / استقبال
• أخطاء الميناء، CRC، وإعادة التوصيل
• استخدام وحدة المعالجة المركزية لكل نواة (قياس فعالية تجاوز النواة)

الأدوات الأساسية:

• mellanox_perf ?? قياس عرض النطاق الترددي / تأخير على مستوى المحول
• إيبادياغنيت ‬ إثبات صحة الأقمشة و تشخيص الكابلات بواسطة RoCE
• إحصاءات الأدوات - S
• syslog/dmesg تعقب حوادث برامج التشغيل والبرمجيات الثابتة

مبادئ توجيهية التحسين:

• حدد NRPE (تم تمكين تحديد سرعة استقبال الشبكة) لعدالة التدفقات المتعددة
• تعديل انقطاع الارتباط (الاعتدال) بناء على نوع حمولة العمل
• لحملات العمل التخزينية، ربط إكمالات RDMA إلى نواة وحدة المعالجة المركزية المخصصة
• الاستخداممواصفات MCX4121A-ACATللتحقق من صحة الحدود الحرارية في ظل حمل مستمر مع معدل الخط

عندما تصبح الميزانية والتوريد اعتبارات، تحققMCX4121A-ACAT السعرالاتجاهاتمكس4121A-ACAT للبيعتوفير البرامج من خلال الموزعين المعتمدين. عادة ما يقلل شراء الكميات من تكلفة الوحدة مع ضمان دعم حقيقي لبرامج التشغيل الثابتة.

6ملخص وتقييم القيمة

الـحل بطاقة MCX4121A-ACAT Ethernet adapterتوفر فوائد قابلة للقياس عبر أبعاد متعددة:

وبالإضافة إلى الأداء الخام، يقلل هذا الحل من تكاليف التكاليف الكاملة من خلال توحيد شبكات التخزين والبيانات على نسيج إثنتر واحد بدون خسائر.MCX4121A-ACATتمكن المنظمات من الحفاظ على استثمارات المفتاح الموجودة مع فتح إمكانات RDMA المخصصة سابقاً لـ InfiniBand.هذا المكيف يوفر، مسار قابلة للتطوير نحو انخفاض فترة تأخير، شبكة خادم عالية النمو.