الحل الفني NVIDIA Mellanox MCX653106A-HDAT: النقل والخادم منخفض زمن الاستجابة المستند إلى RDMA/RoCE
June 16, 2026
تم تصميم هذه الورقة البيضاء التقنية لمهندسي شبكات، مهندسي ما قبل المبيعات، ومديري العمليات.NVIDIA Mellanox MCX653106A-HDATويشرح كيفية بناء البنية التحتية لشبكة مركز البيانات القادرة على نقل RDMA / RoCE على نطاق الميكرو ثانية وأداء عال للغاية.
تواجه مراكز البيانات الحديثة ثلاثة تحديات أساسية: فترة تأخير لا يمكن التنبؤ بها في التخزين الموزع، جوع النطاق الترددي في مجموعات تدريب الذكاء الاصطناعي،واستهلاك وحدة المعالجة المركزية المفرط من قبل كومة بروتوكولات الشبكة التقليدية. لم تعد حلول TCP/IP التقليدية قادرة على تلبية متطلبات الكمون على نطاق الميكرو ثانية من NVMe-oF والتجارة عالية التردد والتحليلات في الوقت الحقيقي.حل بطاقة MCX653106A-HDAT Ethernetالتي تقدم نقل RDMA غير محمول بالأجهزة عبر بنية تحتية Ethernet القياسية مع توسيع معدل سرعة الخادم إلى مستويات 200Gbps.
يتبنى هذا الحل بنية CLOS ذات طبقتين Leaf-Spine. يتم توصيل جميع عقد الحوسبة والتخزين عبرNVIDIA Mellanox MCX653106A-HDATإلى مفاتيح 25G/100G ToR. مبادئ التصميم الرئيسية تشمل:
- شبكة من نهاية إلى نهاية بدون خسائر تم تمكينها بواسطة PFC (تحكم التدفقات الأولوية) و ECN (إخطار الازدحام الصريح)
- مسارات نقل RDMA مخصصة للتخزين وحملات عمل HPC
- فصل مستوى التحكم (TCP/IP القياسي) ومستوى البيانات (RoCEv2)
- تحميلات الافتراضية القائمة على الأجهزة (SR-IOV، VXLAN/NVGRE/Geneva)
بناء علىورقة بيانات MCX653106A-HDAT، يوفر المكيف تأخيرًا من منفذ إلى منفذ أقل من 600ns ويدعم ما يصل إلى 215 مليون حزمة في الثانية ، مما يجعله مثاليًا لكل من حركة التخزين الشرقية الغربية وتدفقات التطبيقات الشمالية الجنوبية.
الـبطاقة الشبكة PCIe MCX653106A-HDAT ConnectXبمثابة محرك طائرة البيانات الأساسي. وتشمل أدواره الأساسية:
- RDMA/RoCE تسريع:تحميل كامل للأجهزة من RoCEv2 ، بما في ذلك إدارة الازدحام ، ومعالجة الحزم خارج النظام ، ووضع البيانات الفوري في مخازن التطبيق.
- بروتوكول التخزين:الدعم الأصلي لـ NVMe-oF (كل من متغيرات TCP و RoCE) ، iSER ، و SRP ، والقضاء على معالجة الأهداف القائمة على البرمجيات.
- التطبيع الافتراضي والتأجير المتعدد:ما يصل إلى 1000 وظيفة افتراضية (VFs) لكل منفذ ، مع تحميل نفق مُتداخل يضمن تغليف / إزالة تغليف معدل الخط.
- الأمن والقياس عن بعد:تشفير IPsec / TLS في 200Gbps ، بالإضافة إلى تتبع التدفق القائم على الأجهزة (على سبيل المثال ، تتبع الاتصال ، الرسوم البيانية).
وفقًامواصفات MCX653106A-HDAT، يدعم المحول واجهات PCIe 4.0/5.0 x16 ، مما يضمن عدم وجود اختناقات الجانب المضيف حتى عند معدل خط 200GbE الكامل.
تتكون طوبولوجية مرجعية معتمدة من:
- طبقة الحساب:48 خادم مزدوج المقابس، كل منهما مجهز بواحدMCX653106A-HDAT(تكوين منفذين 100GbE) ، يتم ربط الموانئ كجماعة فعالة فعالة.
- طبقة التخزين:12 خادم هدف NVMe-oF بالكامل ، لكل منهما اثنانبطاقة MCX653106A-HDAT Ethernetوحدات واحد للوصول الحاسوبية الأمامية، واحد للنسخ الخلفية.
- طبقة الشبكة:أربعة مفاتيح 100GbE Spine وثمانية مفاتيح Leaf ، تم تكوينها مع DCBX و PFC (فئة 3 لـ RoCE) وأعمدة ECN.
للتوسع إلى ما وراء 200 عقدة ، تدعم الهندسة المعمارية تصاميم متعددة القضبان باستخدام EVPN-VXLAN مع تحميل الأجهزة (بشكل كامل)متوافق مع MCX653106A-HDATمع مفاتيح البائعين الرئيسيين). عند تقييم القدرةMCX653106A-HDAT السعرفي كل منفذ 100GbE قابل للاستخدام هو أقل بنسبة 40٪ تقريبًا من حلول Fibre Channel أو InfiniBand المقابلة.
تتطلب التشغيل الفعال لنشر RDMA / RoCE أدوات متخصصة. يتم التوصية بالممارسات التالية:
| الجانب | الإجراءات والأدوات الموصى بها |
|---|---|
| القياس عن بعد والرؤية | تمكين عدادات الأجهزة من خلال5 ملمومصدر بروميثيوس؛ مراقبة توقف PFC، الحزم المميزة ECN، وإعادة الإرسال RoCE. |
| الكشف عن الازدحام | الاستخدامإيثول -Sلإحصاءات كل طابور؛ نشر مجموعة تقييم الازدحام المستندة إلى Docker من NVIDIA. |
| البرمجيات الثابتة والسائق Mgmt | الحفاظمتوافق مع MCX653106A-HDATإصدارات البرمجيات الثابتة (≥ 26.35.x) بجانب مجموعة برامج التشغيل DOCA 2.5+. |
| مبادئ توجيهية للتحسين | حدد MTU=9000 للفريمات الضخمة، قم بتعديل مسألة roce_rx_qos_policy، قم بتمكين تعديل التوقف الديناميكي لحملات العمل المختلطة. |
لاستكشاف الأخطاء، التقاط البيانات الوصفية الخاصة بـ RoCEv2 باستخدامريدماتولو(ibv_devinfo)تتضمن المآسي الشائعة تحديد أولويات PFC غير المهيئة (ضمان الاتساق عبر جميع أجهزة الشبكة) وسرعات وصلات PCIe غير متطابقة (تحقق من صحة معإسبسي - فيفي)
الـNVIDIA Mellanox MCX653106A-HDATيقدم منصة مثبتة جاهزة للإنتاج لتحويل أنسجة Ethernet القياسية إلى شبكات عالية الأداء وخالية من الخسائر. تشمل تقييمات القيمة الرئيسية:
- التأخير:تأخير قراءة NVMe-oF الحاسم تحت 10μs (P99) ، مما يتيح التحليل في الوقت الحقيقي وتقارب HPC.
- النفاذ:معدل 200GbE بالقرب من الخط مع خسارة حزمة صفر ، تم التحقق من صحته ضدمواصفات MCX653106A-HDAT.
- كفاءة وحدة المعالجة المركزيةيحرر ما يصل إلى 30% من نواة وحدة المعالجة المركزية المستهلكة سابقاً من قبل شبكة ومجموعات التخزين.
- التكلفة الكلية للإنتاج:بالمقارنة مع الاتصالات الممتلكة،MCX653106A-HDAT للبيعالتسعير، جنبا إلى جنب مع تبديل Ethernet القياسي، يقلل من تكاليف التشغيل لمدة ثلاث سنوات بنسبة تقدر بنحو 35-50٪.
يمكن للمهندسين المعماريين وقادة العمليات استخدام هذا الحل بثقة في أنسجة الذكاء الاصطناعي، والتخزين الممزق، والأنظمة المالية ذات التأخير المنخفض للغاية.الرجوع إلى المسؤولورقة بيانات MCX653106A-HDATومكتبة مستندات NVIDIA DOCA.