NVIDIA Mellanox MCX4121A-ACAT Server Adapter الحل الفني: بناء RDMA / RoCE منخفضة التأخير

الحل التقني لبطاقة خادم NVIDIA Mellanox MCX4121A-ACAT: بناء طبقة وصول لمركز بيانات منخفضة الكمون وعالية الإنتاجية باستخدام RDMA/RoCE

جوهر الحل: MCX4121A-ACAT | العلامة التجارية: NVIDIA Mellanox | التركيز التقني: نقل منخفض الكمون باستخدام RDMA/RoCE وتحسين إنتاجية الخادم

1. خلفية المشروع وتحليل المتطلبات

مع استمرار مراكز بيانات المؤسسات في التطور نحو معماريات السحابة الهجينة، وتدريب نماذج الذكاء الاصطناعي على نطاق واسع، وأنظمة التخزين الموزعة، أصبحت طبقة وصول الخادم عنق زجاجة حرج يؤثر على أداء التطبيق العام. تكافح محولات 10GbE التقليدية ومكدس بروتوكول TCP/IP لتقديم الكمون المنخفض الحتمي والإنتاجية العالية التي تتطلبها أعباء العمل الحديثة. على وجه التحديد، ظهرت ثلاث نقاط ألم أساسية: الحمل الزائد المفرط لوحدة المعالجة المركزية من معالجة بروتوكول الشبكة، والكمون الذيل غير المتوقع في الوصول إلى التخزين الموزع، وقابلية التوسع المحدودة لبيئات المحاكاة الافتراضية والحاويات.

يوفر NVIDIA Mellanox MCX4121A-ACAT لمعالجة هذه التحديات من خلال توفير حل وصول 25GbE ناضج وعالي الأداء. تشمل المتطلبات الأساسية التي يعالجها هذا الحل التقني: كمون RDMA أقل من 5 ميكروثانية لأعباء عمل التخزين والذكاء الاصطناعي، وتفريغ بروتوكولات TCP/RDMA في الأجهزة لتقليل استخدام وحدة المعالجة المركزية بنسبة تصل إلى 40٪، والتوافق السلس مع البنية التحتية للتبديل 10GbE/25GbE الحالية، ودعم تقنيات المحاكاة الافتراضية الحديثة بما في ذلك SR-IOV و VirtIO.

2. تصميم بنية الشبكة والنظام الشاملة

تستفيد البنية المقترحة من طوبولوجيا قياسية من نوع leaf-spine مع طبقة نقل RoCEv2 مخصصة. طبقة الوصول، حيث تتصل الخوادم بالنسيج، هي محور هذا الحل، مع كون بطاقة محول Ethernet MCX4121A-ACAT هي اللبنة الأساسية لجميع عقد الحوسبة والتخزين.

تتكون البنية من المكونات الرئيسية التالية:

• طبقة وصول الخادم: كل خادم حوسبة وتخزين مجهز بمحول واحد أو اثنين من MCX4121A-ACAT، مما يوفر اتصال 25GbE مزدوج المنفذ بمحولات leaf. يتم تكوين تجميع الروابط (LACP) وفشل التجاوز النشط/الاحتياطي للتكرار.
• نسيج Leaf-Spine: مجموعة من المحولات القادرة على RoCEv2 (مثل NVIDIA Spectrum) تشكل نسيج leaf-spine، مع تمكين PFC و ECN لضمان نقل RoCE خالٍ من الفقد عبر الشبكة بأكملها.
• نسيج التخزين: يتم نشر أهداف NVMe-oF على خوادم تخزين مخصصة، والاستفادة من RDMA للوصول المباشر إلى الذاكرة وتجاوز حمل TCP/IP الخاص بالنواة.
• الإدارة والتنسيق: توفر الإدارة الموحدة عبر NVIDIA NetQ أو أدوات القياس عن بعد التابعة لجهات خارجية رؤية في الوقت الفعلي لصحة النسيج وأداء RDMA.

يوفر MCX4121A-ACAT ConnectX-4 Lx مزدوج المنفذ 25GbE SFP28 إمكانية توصيل الخوادم بشكل مزدوج بمحولي leaf مستقلين، مما يلغي نقاط الفشل الفردية مع توفير موازنة التحميل لكل من حركة مرور RDMA وإيثرنت العادية.

3. دور وميزات رئيسية لـ NVIDIA Mellanox MCX4121A-ACAT

يوفر NVIDIA Mellanox MCX4121A-ACAT حجر الزاوية في هذا الحل، حيث توفر تسريع الأجهزة لـ RDMA وقدرات تفريغ متقدمة. وفقًا لـ ورقة بيانات MCX4121A-ACAT و مواصفات MCX4121A-ACAT الرسمية، يدمج المحول التقنيات الرئيسية التالية:

يوفر المتوافق مع MCX4121A-ACAT ليشمل منصات الخوادم الرئيسية (Dell، HPE، Lenovo، Supermicro، إلخ)، وأنظمة التشغيل (Linux، Windows، VMware ESXi)، وموردي المحولات، مما يضمن التكامل السلس دون الارتباط بمورد واحد. يتيح هذا التوافق الواسع لـ حل بطاقة محول Ethernet MCX4121A-ACAT اعتماده عبر بيئات المؤسسات المتنوعة.

4. توصيات النشر وقابلية التوسع (بما في ذلك الطوبولوجيا النموذجية)

بالنسبة للمؤسسات التي تقيّم خيارات توفر MCX4121A-ACAT للبيع وتخطط لنشرها، نوصي بنهج مرحلي يتماشى مع نمو أعباء العمل:

• المرحلة 1 (تجريبي - مجموعة استدلال الذكاء الاصطناعي): نشر محولين MCX4121A-ACAT لكل خادم استدلال الذكاء الاصطناعي (متصل بشكل مزدوج بمحولات leaf مختلفة). تكوين RoCEv2 مع PFC/ECN والتحقق من الأداء باستخدام MLNX_OFED من NVIDIA أو مكدس برنامج التشغيل المضمن.
• المرحلة 2 (توسيع الوحدة - التخزين والحوسبة): توسيع النشر ليشمل 48-96 عقدة حوسبة و 8-16 خادم تخزين. تمكين تفريغ هدف/بادئ NVMe-oF على عقد التخزين المخصصة. استخدام تجميع الروابط (الربط) لتوسيع النطاق الترددي.
• المرحلة 3 (متعدد الرفوف / متعدد مراكز البيانات): توسيع اتصال RDMA عبر الرفوف باستخدام نفس نسيج RoCEv2. للاتصال بين المواقع، ضع في اعتبارك روابط DCI المشفرة بـ MACsec مع الحفاظ على نقل RDMA.

تتكون الطوبولوجيا النموذجية لوحدة AI/HPC متوسطة الحجم من: 16 خادم حوسبة (كل منها مزود بمحولي MCX4121A-ACAT لعرض نطاق ترددي إجمالي 2 × 25 جيجابت في الثانية = 50 جيجابت في الثانية فعال)، و 4 خوادم تخزين (أهداف NVMe-oF)، و 2-4 محولات leaf (قادرة على RoCEv2). تتكون طبقة spine من 2-4 محولات عالية السعة. يتم تكوين المحولات باستخدام SR-IOV لتخصيص وظائف افتراضية مخصصة لأعباء عمل الذكاء الاصطناعي المعبأة في حاويات، مما يضمن أداءً وعزلًا يمكن التنبؤ بهما.

5. مراقبة العمليات واستكشاف الأخطاء وإصلاحها والتحسين

يوفر NVIDIA Mellanox MCX4121A-ACAT أدوات تشغيل شاملة لتبسيط الإدارة اليومية. تشمل ممارسات المراقبة واستكشاف الأخطاء الرئيسية ما يلي:

• القياس عن بعد في الوقت الفعلي: استخدم NVIDIA NetQ أو PerfSONAR أو القياس عن بعد المتدفق المستند إلى gNMI لمراقبة استخدام المنفذ، وأخطاء CRC، وإيقافات PFC المؤقتة، وأحداث علامات ECN. هذه المقاييس حاسمة لتحديد نقاط الازدحام التي تؤثر على أداء RDMA.
• إدارة برامج التشغيل والبرامج الثابتة: قم بتحديث برنامج التشغيل (MLNX_OFED أو برنامج تشغيل Linux المضمن) والبرامج الثابتة للمحول بانتظام إلى أحدث الإصدارات المستقرة. راجع ورقة بيانات MCX4121A-ACAT لإصدارات البرامج الثابتة الموصى بها وإصلاحات المشكلات المعروفة.
• ضبط الأداء: اضبط عتبات PFC ومستويات علامات ECN بناءً على ملفات تعريف أعباء العمل. بالنسبة لأعباء عمل التخزين، قم بإعطاء الأولوية لحركة مرور RDMA بفئات أولوية أعلى (مثل CoS 3). بالنسبة لأعباء العمل المكثفة حسابيًا، اضبط تجميع المقاطعات وأحجام المخزن المؤقت لتحسين الإنتاجية.
• عزل الأخطاء: استخدم أدوات التشخيص المضمنة في المحول (مثل ethtool، mlxlink) لتحديد مشكلات طبقة الارتباط. في حالة تدهور أداء RDMA، تحقق من إطارات إيقاف PFC المؤقتة وعدادات ECN لتحديد مصادر الازدحام.

يوصى أيضًا بإنشاء خط أساس لكمون RDMA وإنتاجيته باستخدام أدوات مثل perftest (ib_write_bw، ib_read_bw) بعد النشر الأولي. يعمل هذا الخط الأساسي كمعيار لمقارنات الأداء المستقبلية وتخطيط السعة.

6. الملخص وتقييم القيمة

يوفر NVIDIA Mellanox MCX4121A-ACAT حلاً شاملاً وفعالاً من حيث التكلفة لبناء شبكات وصول لمركز بيانات منخفضة الكمون وعالية الإنتاجية. عند تقييم سعر MCX4121A-ACAT مقابل التكلفة الإجمالية للملكية، تكون الفوائد واضحة: تقليل استخدام وحدة المعالجة المركزية (تحرير الموارد لأعباء عمل التطبيقات)، وتحسين أداء التطبيق (إنتاجية تصل إلى ضعف لأعباء عمل التخزين والذكاء الاصطناعي)، وانخفاض الحمل التشغيلي (تبسيط المراقبة والكشف الاستباقي عن الأخطاء).

تشمل النقاط الرئيسية من هذا الحل التقني ما يلي:

• يوفر MCX4121A-ACAT ConnectX-4 Lx مزدوج المنفذ 25GbE SFP28 مسار وصول 25GbE جاهز للمستقبل مع توافق كامل مع الإصدارات السابقة مع 10GbE/1GbE.
• يوفر تفريغ RDMA/RoCEv2، جنبًا إلى جنب مع الشبكات التي تم تمكين PFC/ECN فيها، كمونًا أقل من 5 ميكروثانية وتدخلًا شبه معدوم لوحدة المعالجة المركزية لحركة مرور التخزين والذكاء الاصطناعي.
• يضمن النظام البيئي المتوافق مع MCX4121A-ACAT التكامل السلس عبر بيئات الخوادم والتخزين والمحولات المتجانسة.
• يتوسع الحل من مجموعات تجريبية صغيرة إلى عمليات نشر متعددة الرفوف واسعة النطاق، مما يجعله مناسبًا لكل من مراكز بيانات المؤسسات ومقدمي خدمات السحابة.

بالنسبة للمؤسسات الجاهزة لتحديث بنية وصول الخادم الخاصة بها، تمثل NVIDIA Mellanox MCX4121A-ACAT استثمارًا استراتيجيًا في الأداء والكفاءة والبساطة التشغيلية. توفر ورقة بيانات MCX4121A-ACAT و مواصفات MCX4121A-ACAT الشاملة و توفر MCX4121A-ACAT للبيع من خلال القنوات المعتمدة الموارد اللازمة لبدء عملية التقييم والنشر. يعمل حل بطاقة محول Ethernet MCX4121A-ACAT هذا كنموذج أولي مثبت لإطلاق الإمكانات الكاملة لشبكات مراكز البيانات الحديثة.