ورقة بيضاء فنية لمحول الخادم Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT

هذه الورقة التقنية مصممة لمهندسي الشبكات، ومهندسي المبيعات المسبقة، ومديري العمليات. تركز على محول الخادم Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT وتوضح كيفية بناء شبكات مراكز بيانات ذات زمن استجابة منخفض وإنتاجية عالية باستخدام تقنية RDMA/RoCE. تغطي الورقة التصميم المعماري، والميزات التقنية الرئيسية، واستراتيجيات النشر والتوسع، بالإضافة إلى العمليات والمراقبة - مما يوفر إرشادات قابلة للتنفيذ للتنفيذ في العالم الحقيقي.

تواجه مراكز البيانات الحديثة ثلاث تحديات أساسية: أن تصبح وحدة المعالجة المركزية عنق زجاجة للشبكة، وزمن استجابة مفرط للوصول إلى التخزين، وتكاليف اتصال غير قابلة للتحكم للتطبيقات الموزعة. تستهلك مكدس بروتوكول TCP/IP التقليدي أكثر من 30٪ من موارد وحدة المعالجة المركزية لمعالجة البروتوكولات ونسخ البيانات أثناء الاتصال المتوازي واسع النطاق، مما يقلل بشكل كبير من إنتاجية الخادم الفعالة. في الوقت نفسه، تتطلب تطبيقات مثل NVMe over Fabrics، وأطر عمل التعلم الآلي الموزعة (مثل NCCL)، وقواعد البيانات في الذاكرة زمن استجابة من طرف إلى طرف أقل من 20 ميكروثانية. ما هو مطلوب بشكل عاجل هو حل يتجاوز النواة ويوفر تفريغ نقل على مستوى الأجهزة - وهذا هو بالضبط المشكلة التي يحلها MCX623106AN-CDAT جنبًا إلى جنب مع تقنية RoCE.

يعتمد هذا الحل على بنية Spine-Leaf ذات طبقتين. جميع عقد الحوسبة والتخزين مجهزة بمحول Ethernet NVIDIA Mellanox MCX623106AN-CDAT. تم تكوين محولات Leaf لعمل RoCE غير المفقود، مما يتيح PFC (التحكم في تدفق الأولوية) و ECN (إشعار الازدحام الصريح)، مع تخصيص طابور أولوية مخصص لحركة مرور RoCE. تشمل مبادئ التصميم الرئيسية:

• فصل مستويات التحكم والبيانات: تتم معالجة تدفقات بيانات RoCE بالكامل بواسطة الأجهزة على المحول، بينما لا تزال بروتوكولات التحكم (مثل ARP، DHCP) تتبع المسار التقليدي.
• شبكة موحدة: يحمل Ethernet كلاً من حركة مرور TCP/IP القياسية وحركة مرور RoCE، مع تحقيق عزل جودة الخدمة من خلال وضع علامات DSCP.
• إدارة الازدحام من طرف إلى طرف: بناءً على خوارزمية DCQCN، وإنشاء آلية تغذية راجعة مغلقة بين محولات المصدر والمحولات.

يلعب محول Ethernet MCX623106AN-CDAT دورًا حاسمًا في كل عقدة خادم. يمكن لتصميمه ثنائي المنافذ 100GbE الاتصال بمحولات Leaf مختلفة للتكرار أو توفير عزل مادي بين حركة مرور التخزين والحوسبة.

باعتباره مكون مستوى البيانات الأساسي لهذا الحل، يوفر محول شبكة PCIe MCX623106AN-CDAT ConnectX القدرات الحاسمة التالية:

• محرك تفريغ RoCE للأجهزة: يعالج معالجة طبقة النقل (التجزئة، إعادة التجميع، الإقرار، إعادة الإرسال) دون تدخل وحدة المعالجة المركزية المضيفة.
• تفريغات ConnectX الديناميكية: يوزع حركة مرور قوائم الانتظار المتعددة تلقائيًا، مما يحسن الإنتاجية على الخوادم متعددة النوى.
• واجهة مضيف PCIe 4.0 x16: عرض نطاق ترددي نظري يبلغ 256 جيجابت في الثانية، مما يضمن عدم وجود عنق زجاجة لإعادة التوجيه بمعدل الخط.
• تفريغات تخزين متقدمة: يدعم تسريع الأجهزة لـ NVMe over Fabrics، بما في ذلك البحث عن مساحة الاسم وفحوصات سلامة البيانات.

وفقًا لـ ورقة بيانات MCX623106AN-CDAT و مواصفات MCX623106AN-CDAT المتاحة للجمهور، يحقق هذا المحول زمن استجابة من منفذ إلى منفذ أقل من 600 نانوثانية ويدعم معدلات معالجة الحزم تصل إلى 200 مليون حزمة في الثانية. بالنسبة للفرق التي تقيم التكاليف، فإن سعر MCX623106AN-CDAT تنافسي للغاية بين محولات RoCE 100GbE المماثلة، و MCX623106AN-CDAT للبيع متاح من خلال قنوات التوزيع القياسية. قبل الاختيار، يُنصح بالتأكد من ظهور طرازات الخادم في قائمة MCX623106AN-CDAT المتوافقة- تم التحقق من صحة جميع منصات OEM الرئيسية.

وصف الطوبولوجيا النموذجية:
بنية Clos تتكون من 2 محول Spine و 4 محولات Leaf. كل عقدة خادم مجهزة بـ MCX623106AN-CDAT واحد، مع توصيل كلا المنفذين 100GbE بمحولات Leaf مختلفة. تتصل منافذ Uplink الخاصة بـ Leaf بـ Spines بنسبة زيادة في الاستخدام تبلغ 4:1. يتم استخدام VLAN مخصص لحركة مرور RoCE.

خطوات النشر:

• الخطوة 1: قم بتثبيت MCX623106AN-CDAT فعليًا في فتحة PCIe 4.0 x16، ثم قم بتثبيت أحدث البرامج الثابتة وبرنامج تشغيل NVIDIA MLNX_OFED.
• الخطوة 2: على المحولات، قم بتكوين PFC (يوصى بالأولوية 3) و ECN (تعيين Kmin/Kmax) لحركة مرور RoCE.
• الخطوة 3: على نظام التشغيل، قم بتمكين وضع RoCEv2 وتكوين معلمات DCQCN (القيم الأولية: α=1، β=1، فترة المؤقت 100 ميكروثانية).
• الخطوة 4: استخدم أدوات ib_write_bw و ib_write_lat للتحقق من خط الأساس للأداء.

توصيات التوسع: عندما يتجاوز حجم الكتلة 500 عقدة، فكر في تمكين التحكم في التدفق (PPC) وجداول تعيين جودة الخدمة الخاصة بالمحول، وفكر في استخدام أولويات RoCE متعددة لتجنب حظر رأس الخط.

يمكن لفرق العمليات استخدام الأدوات التالية لمراقبة صحة حلول محول Ethernet بطاقة محول Ethernet MCX623106AN-CDAT:

• mlxconfig / mlxfwmanager: تكوين معلمات البرامج الثابتة وإدارة ترقيات البرامج الثابتة.
• ethtool -S: عرض عدادات إرسال/استقبال RoCE وعدد إطارات إيقاف PFC المؤقت.
• ibdiagnet: إجراء تشخيصات شاملة لشبكة RoCE للكشف عن عواصف PFC غير الضرورية.
• القياس عن بعد و HIST: استخدم جداول توزيع زمن الاستجابة التاريخية المضمنة في المحول لتحديد شذوذ زمن الاستجابة الذيل.

استكشاف الأخطاء الشائعة وإصلاحها:

• الإنتاجية أقل من المتوقع: تحقق من حالة تفاوض PCIe (يجب أن تكون Gen4 x16) وتأكد من تعيين MTU بشكل موحد إلى 9000 إطار جامبو.
• فشل اتصال RoCE: تحقق من تعيين DSCP وتكوين VLAN، مع التأكد من أن المحول لا يسقط الحزم المميزة بـ RoCE.
• استخدام مرتفع لوحدة المعالجة المركزية: قد يشير هذا إلى عدم تمكين تفريغ الأجهزة؛ تحقق من إعدادات تفريغ ethtool.

توصيات التحسين: للتطبيقات الحساسة للغاية لزمن الاستجابة (مثل التداول عالي التردد، ونسخ سجلات RDMA)، فكر في تغيير نوع خدمة RoCE من "متصل" إلى "datagram" وتعطيل التحكم في الازدحام.

يقلل حل RDMA/RoCE المستند إلى MCX623106AN-CDAT من زمن الاستجابة من طرف إلى طرف للتطبيقات الموزعة بمقدار عشرة أضعاف (من مئات الميكروثانية إلى عشرات الميكروثניות) دون استبدال البنية التحتية Ethernet الحالية، مع تحرير 20-30٪ من موارد الحوسبة لوحدة المعالجة المركزية في نفس الوقت. بالنسبة لسيناريوهات مثل تدريب الذكاء الاصطناعي، والتخزين المفرط التقارب، والتحليلات في الوقت الفعلي، يترجم هذا مباشرة إلى أوقات إكمال مهام أقصر وكثافة خوادم أعلى. كحل كامل لـ بطاقة محول Ethernet MCX623106AN-CDAT، فإنه يوضح أن "Ethernet غير المفقود + بطاقة ذكية" هو مسار قابل للتحقيق لتحقيق كل من الإنتاجية العالية وزمن الاستجابة المنخفض. لمزيد من التفاصيل الفنية أو للحصول على ورقة بيانات MCX623106AN-CDAT، يرجى الرجوع إلى وثائق NVIDIA الرسمية أو الاتصال بفريق هندسة الحلول.