الحل الفني NVIDIA Mellanox MCX556A-ECAT: RDMA/RoCE للنقل منخفض زمن الاستجابة وتحسين إنتاجية الخادم

هذه الورقة التقنية البيضاء موجهة لمهندسي الشبكات المعماريين ومهندسي المبيعات المسبقة ومديري العمليات. تركز على محول الخادم NVIDIA Mellanox MCX556A-ECAT وتقدم إطارًا منهجيًا لبناء شبكات مراكز بيانات عالية الأداء ومنخفضة الكمون باستخدام تقنية RDMA و RoCE.

تتطلب أعباء عمل مراكز البيانات الحديثة - بما في ذلك التخزين الموزع (Ceph، Lustre)، وقواعد البيانات في الذاكرة (Redis، Aerospike)، وأطر عمل تدريب الذكاء الاصطناعي - كلاً من الإنتاجية العالية والكمون دون المللي ثانية. تقدم مكدسات TCP/IP التقليدية عبئًا كبيرًا على وحدة المعالجة المركزية، وتبديل السياق، ونسخ البيانات، والتي تصبح اختناقات مع وصول سرعات الشبكة إلى 100 جيجابت في الثانية وما بعدها. تشمل المتطلبات الرئيسية للبنية التحتية من الجيل التالي: تفريغ وحدة المعالجة المركزية (تقليل استخدام معالج المضيف)، كمون منخفض للغاية وقابل للتنبؤ (خاصة لكمون الذيل)، نقل غير فاقد لبروتوكولات التخزين (NVMe-oF، iSER)، وتكامل سلس مع البنية التحتية Ethernet الحالية. يعالج MCX556A-ECAT كل هذه المتطلبات مباشرة.

تعتمد البنية الموصى بها على طوبولوجيا ورقة-عمود فقري من مستويين مع Ethernet غير فاقد تم تكوينه لنقل RoCE (RDMA عبر Ethernet الموحد). تم تجهيز جميع عقد الحوسبة والتخزين بـ بطاقة محول Ethernet MCX556A-ECAT، متصلة بمحولات الأوراق عبر روابط 100GbE QSFP28. تقوم محولات العمود الفقري بتجميع حركة مرور طبقة الأوراق، مما يوفر نطاقًا تردديًا أساسيًا غير مانع. تشمل مبادئ البنية الرئيسية:

• فصل مستويات التحكم والبيانات: يقوم RoCEv2 بتغليف RDMA في UDP/IP، مما يسمح بالتوجيه عبر حدود الطبقة 3.
• التحكم في تدفق الأولوية (PFC): يتيح سلوكًا غير فاقد لفئات حركة مرور RDMA.
• اختيار الإرسال المحسن (ETS): يضمن النطاق الترددي للتدفقات الحساسة للكمون.
• إشعار الازدحام: باستخدام DCQCN (إشعار الازدحام الكمي لمركز البيانات) للتحكم في التدفق من طرف إلى طرف.

تدعم البنية البيئات العارية والمعتمدة على الأجهزة الافتراضية، مع توفير SR-IOV لتمرير مباشر للوظائف الافتراضية إلى الأجهزة الافتراضية.

باعتباره بطاقة شبكة PCIe من نوع MCX556A-ECAT ConnectX، يعمل هذا المحول كحجر الزاوية للحل. يتجاوز محرك التفريغ المستند إلى الأجهزة النواة، مما يتيح نقل البيانات المباشر من الذاكرة إلى الذاكرة. تشمل الميزات الهامة:

بالنسبة للفرق التي تستعرض ورقة بيانات MCX556A-ECAT و مواصفات MCX556A-ECAT، لاحظ أن المحول يدعم كلاً من PCIe 3.0 و 4.0 (x16)، مما يضمن التوافق مع الإصدارات السابقة مع الخوادم الحالية مع توفير مسار ترقية لمنصات الجيل التالي.

يتم وصف نشر مرجعي لمجموعة متوسطة الحجم (تصل إلى 200 عقدة) أدناه. يتم تثبيت MCX556A-ECAT في فتحة PCIe لكل خادم، مع اتصال مزدوج المنفذ للتكرار وتجميع النطاق الترددي.

• الطوبولوجيا المادية: محولان عموديان، أربعة محولات أوراق. يتصل كل ورقة بجميع الأعمدة (شبكة كاملة). يتصل كل خادم بورقتين (ربط نشط-نشط).
• تكوين RoCE: شبكة VLAN مخصصة لحركة مرور RoCE. وضع علامات QoS بناءً على DSCP (على سبيل المثال، DSCP 46 لـ RDMA). تم تمكين PFC على الأولوية 3.
• إدارة المخزن المؤقت: قم بتكوين مخازن مؤقتة رأسية غير فاقدة لكل منفذ بناءً على زمن الذهاب والإياب ومسافة الارتباط.
• العنونة: استخدم تعيينات IP ثابتة أو حجوزات DHCP لواجهات RDMA. تأكد من إطارات جامبو (MTU 9000) من طرف إلى طرف.

التوسع إلى ما بعد 200 عقدة: قدم طبقة عمود فقري فائق ونشر BGP-EVPN لتوسيع الطبقة 2 عبر وحدات متعددة. تحقق من التكوينات المتوافقة مع MCX556A-ECAT والبصريات والكابلات من بائعين مؤهلين (مثل Mellanox، FS.com). عند تقييم سعر MCX556A-ECAT للمشتريات واسعة النطاق، ضع في اعتبارك التسعير المجمع مع المحولات والبصريات.

تتطلب العمليات الفعالة لشبكة تعتمد على RoCE مراقبة استباقية وأدوات متخصصة:

• مراقبة الأداء: استخدم mlxlink و ethtool لإحصائيات الارتباط (معدل الأخطاء، أخطاء FEC). يتضمن حل بطاقة محول Ethernet MCX556A-ECAT من NVIDIA القياس عن بعد عبر PCM (مراقب عدادات الأداء).
• اكتشاف الازدحام: راقب الحزم الموسومة بـ ECN وإطارات إيقاف PFC باستخدام قياسات المحول (مثل Mellanox SNMP MIBs). تشير معدلات إطارات الإيقاف العالية إلى ضغط المخزن المؤقت.
• إدارة البرامج الثابتة وبرامج التشغيل: قم بالتحديث بانتظام إلى أحدث الإصدارات من NVIDIA OFED. استخدم mstflint للتحقق من البرامج الثابتة.
• استكشاف الأخطاء الشائعة وإصلاحها: لفشل اتصالات RDMA، تحقق من اتساق MTU، وعضوية VLAN، وربط DSCP بـ CoS. استخدم ibdev2netdev و rdma link show للتحقق من حالة الجهاز.
• نصائح التحسين: اضبط معلمات DCQCN (ألفا، بيتا، مؤقت زيادة المعدل) بناءً على عبء العمل. بالنسبة لأعباء عمل التخزين، قم بزيادة عمق قائمة الإكمال. لتدريب الذكاء الاصطناعي، قم بتمكين GPUDirect RDMA وتثبيت الذاكرة.

للتخطيط للسعة، ارجع إلى ورقة بيانات MCX556A-ECAT للمواصفات الحرارية والطاقة (15 واط نموذجي). المحول متاح على نطاق واسع MCX556A-ECAT للبيع من خلال الموزعين المعتمدين، بما في ذلك برامج تخزين قطع الغيار.

يقدم MCX556A-ECAT قيمة قابلة للقياس عبر ثلاثة أبعاد: الأداء (انخفاض يصل إلى 90٪ في كمون التطبيق، زيادة في الإنتاجية بمقدار 4 أضعاف)، الكفاءة (تفريغ وحدة المعالجة المركزية بنسبة 70٪، طاقة أقل لكل جيجابت في الثانية)، و التكلفة الإجمالية للملكية (بنية تحتية موحدة، عدد خوادم أقل، تكاليف تبريد أقل). المنظمات التي تنشر NVIDIA Mellanox MCX556A-ECAT كجزء من حل يعتمد على RoCE يمكن أن تتوقع عائدًا على الاستثمار في غضون 6-12 شهرًا، اعتمادًا على كثافة عبء العمل. بالنسبة لمراكز البيانات من الجيل التالي التي تتبنى الذكاء الاصطناعي، أو الحوسبة عالية الأداء، أو التخزين المعرف بالبرمجيات، يمثل هذا المحول أساسًا مثبتًا وقابلًا للتوسع. للبدء، اطلب ورقة بيانات MCX556A-ECAT وتحقق من التكوينات المتوافقة مع MCX556A-ECAT مع بائع المحول الخاص بك.