?

NVIDIA Mellanox MCX653105A-HDAT Server Adapter كتاب أبيض تقني

1خلفية المشروع وتحليل المتطلبات

تطور أحمال عمل مراكز البيانات ‬ وخاصة في الذكاء الاصطناعي والحوسبة عالية الأداء (HPC) ،وتوزيع التخزين قد غيرت جذريا متطلبات الشبكة للبنية التحتية للخادم. تطبيقات الشبكة التقليدية ، المصممة للحركة المرورية ذات الأغراض العامة ، تقدم تأخيرًا ومكلفة مخصصة لمعالجة المعالجة المركزية التي تصبح محظورة على نطاق واسع. تطبيقات مثل NVMe over Fabrics (NVMe-oF) ،تدريب التعلم الآلي الموزعوالتحليلات في الوقت الحقيقي تتطلب تأخيرًا محددًا ، تحت الميكرو ثانية وحركة بيانات متسارعة بالأجهزة.

معماري الشبكات وقادة البنية التحتية يتحولون بشكل متزايد إلى RDMA عبر Ethernet Converged (RoCE) باعتبارها النقل المفضل لهذه الأحمال.يعتمد نشر RoCE الناجح على قدرة المحول الأساسي على إزالة عبء معالجة النقل، وإدارة الازدحام بفعالية، والتكامل بسلاسة مع أنسجة إيثيرنت القائمة. تتضمن المتطلبات الرئيسية التي تم تحديدها عبر عمليات نشر المؤسسات والسحابة:

• تأخير RDMA من نهاية إلى نهاية أقل من 3 ميكرو ثانية للتطبيقات الحساسة للتأخير
• سعة إجمالية تتجاوز 40 جيجابايت في الثانية لكل خادم لدعم عقد التخزين والحوسبة عالية الكثافة
• تحميل الأجهزة لـ GPUDirect للقضاء على نسخ الذاكرة الجانب المضيف في أحمال عمل الذكاء الاصطناعي
• نقل إيثيرنث بدون خسائر مع PFC و ECN للأداء الحتمي
• تقييم المعلومات الشامل ومسار البيانات القابل للبرمجة للرؤية التشغيلية

الـNVIDIA Mellanox MCX653105A-HDATتلبي هذه المتطلبات من خلال بنيتها ConnectX ، وتقدم RoCEv2 المتسارعة بالأجهزة ، وإدارة الازدحام المتقدمة ،وإطار برمجة شامل مناسب لأكثر بيئات المؤسسات تطلباً.

2تصميم بنية الشبكة والنظام بشكل عام

تستخدم بنية الحل المقترحة توبولوجيا عمود العمود الفقري مع اتصال 25/50/100GbE في طبقة الوصول إلى الخادم. يتم تجهيز كل عقدة حاسوبية أو تخزينية أو GPU متسارعةبطاقة الشبكة PCIe MCX653105A-HDAT ConnectX، مما يوفر اتصالاً زائداً لمفتاحات أعلى الرف (ToR). تتكون الهندسة المعمارية من أربع طبقات متميزة:

• حافة الحوسبة/التخزين:الـبطاقة MCX653105A-HDAT Ethernetيتصل عن طريق PCIe Gen 4.0 x16 إلى المضيف ، مما يوفر ما يصل إلى 256 GB / s عرض النطاق الترددي للمضيف ثنائي الاتجاه كافٍ لتملأ منفذين 100GbE بالكامل مع الحفاظ على مساحة رأسية لحركة المرور.
• نسيج الشبكة:الموانئ المزدوجة تدعم الوسائط المرنة (SFP28 لـ 25GbE ، QSFP لـ 50/100GbE) مع موازنة الحمل النشط النشط وإزالة حمولة LAG الأجهزة. يدعم المحول ما يصل إلى 200 جيجابايت في الثانية.
• RDMA النقل:RoCEv2 المتسارع بالأجهزة مع إزالة كاملة من التقسيم وإعادة التجميع والتحكم في الازدحام. يدعم المحول ما يصل إلى 200 مليون رسالة في الثانية (Mpps) مع تأخير أقل من ميكرو ثانية.
• الإدارة والقياس عن بعد:إدارة خارج النطاق مع الدعم الكامل لـ Redfish و SNMP ، مكملة بالقياس عن بعد داخل النطاق لمراقبة الأقمشة في الوقت الحقيقي.

يؤكد التصميم على نسيج إثنترات متقارب وبدون خسائر حيثNVIDIA Mellanox MCX653105A-HDATبمثابة نقطة نهاية RDMA ، مما يتيح نقل الذاكرة مباشرة إلى الذاكرة دون تدخل وحدة المعالجة المركزية.متوافق مع MCX653105A-HDATمع البنية التحتية الحالية لتبديل Ethernet ، والتي تتطلب فقط دعم PFC و ECN features المتوفرة عادة في محولات مراكز البيانات الحديثة.

3الدور والميزات الرئيسية لـ NVIDIA Mellanox MCX653105A-HDAT

الـMCX653105A-HDATيلعب دورًا مركزيًا في الهندسة المعمارية ، حيث يوفر ثلاثة طبقات قيمة متميزة تمكن بشكل جماعي من شبكات ذات تأخير منخفض وسرعة عالية:

A. محرك RDMA المتسارع بالأجهزة
المحول يدمج خط أنابيب معالجة الحزم قابل للبرمجة بالكامل الذي يقوم بتفريغ عمليات نقل RoCEv2 بما في ذلك التقسيم وإعادة التجميع ومراقبة الازدحامومعالجة الانتهاء وفقًاورقة بيانات MCX653105A-HDAT، يدعم الأجهزة أداء سلكي في جميع أحجام الحزم ، مع أقصى معدل رسالة يبلغ 200 ميغابيت.

B. GPUDirect و NVMe-oF الإفراج
أحد الميزات الرئيسيةMCX653105A-HDATهو دعمها المتكامل لـ GPUDirect ، مما يتيح نقل البيانات المباشر بين ذاكرة GPU وواجهة الشبكة دون نسخ من جانب المضيف.هذا يزيل اختناقاً حاسماً في تدريب الذكاء الاصطناعي الموزعبالنسبة لحملات العمل التخزينية، المكيف يزيل عمليات NVMe-oF، وتحويل Ethernet القياسية إلى نسيج تخزين عالي الأداء.

ج - الجودة المُتقدمة وإدارة الازدحام
يوفر المحول تحديد الأولويات لكل فئة حركة مع دعم الأولوية الصارمة ، والترتيبات العادلة المزنة ، والحد من المعدل. تشمل ميزات إدارة الازدحام وضع علامات ECN على أساس الأجهزة ،توليد PFC، وقدرات التوجيه التكيفيةمواصفات MCX653105A-HDAT.

D. الأمن والبرمجة
يتضمن المحول جذر الأجهزة الموثوق به، وبدء التشغيل الآمن، وتحديثات البرمجيات الثابتة المشفرة. مسار البيانات القابل للبرمجة يدعم معالجة عمل مطابقة مرنة،تمكين التفريغات المخصصة وجمع تقييمات الشبكة داخل النطاق.

4توصيات النشر والقدرة على التوسع

طبيعة التوزيع النموذجية

يتبع النشر الموصى به توبولوجيا "العمود الفقري" مع التكوين التالي:

• مفاتيح الأوراق:25/50/100GbE ToR المفاتيح مع دعم RoCEv2 ، تم تكوينها مع PFC على طوابير الأولوية المخصصة و ECN لإشارة الازدحام. يتم التوصية بأطر Jumbo (MTU 9000) لأداء RoCE الأمثل.
• عقد الخادم:كل عقدة مجهزةMCX653105A-HDAT، يتم توصيلها عبر التوجيه المزدوج إلى مفاتيح الورق الأولية والثانوية للتكرار. تتيح واجهة PCIe Gen 4.0 x16 للمحول عدم وجود اختناقات على الجانب المضيف.
• طبقة العمود الفقري:100/400GbE مفاتيح العمود الفقري التي توفر اتصالًا غير مسدود بين الرف مع قدرة عازلة كافية لاستيعاب الانفجارات الدقيقة.
• التكامل بين التخزين والحساب:بالنسبة لنشرات NVMe-oF ، تستخدم العقد المستهدفة نفس نوع المحول لإمكانيات RDMA المتسقة. بالنسبة لمجموعات الذكاء الاصطناعي ، يتم الاستفادة من دعم GPUDirect للمحول لمزامنة التدرج.

اعتبارات قابلية التوسع

• مجالات الازدحام:تقسيم النسيج إلى مناطق إدارة الازدحام المتعددة (على سبيل المثال ، لكل رف أو كل مجموعة) للحد من انتشار PFC. يساعد تقييد معادلة السرعة لكل منفذ في عزل الجيران الصاخبين.
• التكامل في التنسيق:يتم دعم المحول بالكامل من قبل Kubernetes (عبر مشغل الشبكة NVIDIA) و OpenStack ، مما يتيح إدارة التوفير الآلي وإدارة دورة الحياة في بيئات على نطاق السحابة.
• مؤكد للمستقبل:الـMCX653105A-HDATيدعم 100GbE وسرعات أعلى ، مما يوفر مساحة رئيسية لتحديثات الشبكة في المستقبل دون استبدال المحول.

بالنسبة للمنظمات التي تقوم بتقييمMCX653105A-HDAT السعريجب أن تشمل التكلفة الإجمالية للملكية التوفيرات من القضاء على شبكات التخزين المخصصة ، وتقليل تخصيص نواة وحدة المعالجة المركزية (عادة استرداد 4-6 نواة لكل خادم) ،والكفاءات التشغيلية من إدارة النسيج الموحدة.

5العمليات، المراقبة، حل المشاكل وتحسين

إطار المراقبة

الحل يتضمن نهج الملاحظة متعددة المستويات:

• "القياس عن بعد على مستوى المحول"الـMCX653105A-HDATيعرض المئات من عدادات الأجهزة عبر أدوات ethtool و sysfs وأدوات إدارة NVIDIA. وتشمل المقاييس الرئيسية معدل الإنجاز لكل منفذ ، أطر توقف PFC ، الحزم المميزة ECN ، أحداث ازدحام RoCEv2 ،و إحصاءات طابور إكمال RDMA.
• الرؤية على مستوى النسيج:التكامل مع منصة الإدارة الموحدة لـ NVIDIA يوفر تصور الطوبولوجيا وتحليل مسار التدفق واكتشاف الشذوذ.
• علاقة التطبيق:يوفر المحول هيستوجرامات تأخير لكل تدفق وكل طابور ، مما يتيح ارتباطًا دقيقًا لأداء الشبكة مع تأخير المعاملات على مستوى التطبيق.

السيناريوهات الشائعة لحل المشاكل

بناء على الخبرة التشغيليةNVIDIA Mellanox MCX653105A-HDAT، يتم تحديد الأنماط التشخيصية التالية:

• الكشف عن العواصف PFC:مراقبة عدادات إطار PFC لوقف الإطار حسب الأولوية ٪ توقف مستمر > 5٪ من معدل الخط يشير إلى ازدحام أو تشكيل خاطئ.التحقيق في المصدر باستخدام عدادات استغلال العازل في كل طابور.
• قطرات الحزمة RoCEv2:تحقق من عدادات انخفاض المحول (rx_discard ، tx_discard) وارتباطها مع الحزم المميزة ECN للتمييز بين انخفاضات مستوى المحول والخنق على مستوى النسيج.
• ضبط الأداء:تعديل معايير انقطاع التجميع لتوازن فترة تأخير مقابل استخدام وحدة المعالجة المركزية عادة تعيين التجميع معتدلة لحملات العمل التخزين والحد الأدنى من التجميع لتطبيقات التداول.ورقة بيانات MCX653105A-HDATيوفر إرشادات مفصلة عن المعلمات القابلة للتعديل.

مبادئ توجيهية للتحسين

لتحقيق أقصى قدر من النفاذ والحد الأدنى من فترة تأخير معحل البطاقات المتكاملة MCX653105A-HDAT Ethernet، يتم التوصية بتحسينات التالية:

• تمكين CRC الأجهزة ، وتقسيم الرأس / البيانات ، وتوسيع نطاق الجانب المستقبل (RSS) لتوزيع حركة المرور عبر العديد من نواة وحدة المعالجة المركزية بكفاءة
• تهيئة عتبات PFC لكل أولوية بشكل ديناميكي باستخدام أدوات تكوين العازل الخاصة بالشركة المصنعة للمحول ، بناءً على ملفات تحديد أحمال العمل الملاحظة
• تمكين ميزات QoS المتقدمة للمحول ، بما في ذلك الحد من المعدل لكل فئة حركة المرور والترتيبات العادلة ذات الأولوية الصارمة أو المزنة
• للتنفيذ على نطاق واسع، الاستفادة من دعم المكيف لـ 802.1Qaz DCBX لتشغيل PFC و ECN التفاوض الآلي مع المفاتيح
• الاستفادة من مسار البيانات قابلة للبرمجة من المكيف لتنفيذ جمع قياسات عن بعد مخصصة أو تحميلات معالجة حزم متخصصة

6ملخص وتقييم القيمة

الحل التقني يركز علىMCX653105A-HDATمن NVIDIA Mellanox يوفر مسار واضح لتحقيق تأخير RDMA أقل من 3 ميكرو ثانية والسرعة الإجمالية التي تتجاوز 100 جيجابايت / ثانية لكل خادم.بطاقة MCX653105A-HDAT Ethernetبمثابة كتلة بناء أساسية لمرافق مركز البيانات الحديثة المتقاربة التي تدعم تدريب الذكاء الاصطناعي و HPC و أحمال عمل تخزين المؤسسات في وقت واحد.

وتشمل مقترحات القيمة الرئيسية:

• تعزيز البنية التحتية:يزيل الحاجة إلى شبكات تخزين وحوسبة منفصلة من خلال تمكين إيثيرنث بدون خسارة لجميع أنواع حركة المرور ، مما يقلل من النفقات الرأسمالية والتشغيلية
• قيادة الأداء:يضمن RoCEv2 مع GPUDirect مع تحميل الأجهزة تأخيرًا محددًا ، حتى تحت 90% + من نسبة استخدام الخط
• الكفاءة التشغيلية:قياس المعلومات عن بعد شامل ، وإدارة الازدحام الذاتي ، وتكاملات التنسيق الآلي تقلل من متوسط الوقت حتى الحل (MTTR) والتكاليف العملية العامة
• حماية الاستثمار:تتيح واجهة PCIe Gen 4.0 والقدرة على البرمجة ودعم منفذ متعدد السرعات التوافق مع أجيال CPU المستقبلية وأقمشة الشبكة ذات السرعة العالية

للمنظمات التي تقوم بتقييم نشطMCX653105A-HDAT للبيعالخيارات، هذا الحل يقدم بنية مرجعية مثبتة معتمدة في بيئات الإنتاج عبر الخدمات المالية ومقدمي السحابة والرعاية الصحية ومؤسسات البحث.مزيج من الأداء، قابلية التوسع، والنضج التشغيلي يجعلNVIDIA Mellanox MCX653105A-HDATاستثمار استراتيجي لأي منظمة ملتزمة ببناء بنية تحتية مركز بيانات عالية الأداء ومستعدة للمستقبل.