NVIDIA Mellanox MCX4121A-ACAT Server Adapter ورقة بيضاء تقنية

NVIDIA Mellanox MCX4121A-ACAT Server Adapter كتاب أبيض تقني

1خلفية المشروع وتحليل المتطلبات

تواجه مراكز البيانات الحديثة ضغوطاً مستمرة لدعم أحمال عمل متزايدة الطلب من التدريب على الذكاء الاصطناعي / ML والتداول عالي التردد إلى قواعد البيانات الموزعة وتخزين NVMe على المصانع.بينما أصبح 25GbE Ethernet معيار طبقة الوصول الرئيسي، العديد من المنظمات تجد أن عرض النطاق الترددي الخام وحده لا يترجم إلى أداء التطبيق. تكمن الحاجز الأساسي في كومة TCP / IP التقليدية: ارتفاع تكاليف انقطاع وحدة المعالجة المركزية ،فترة تأخير غير متوقعة، ومعالجة الحزم غير الفعالة التي يمكن أن تستهلك 20-30٪ من نواة وحدة المعالجة المركزية للخادم. بالنسبة للتطبيقات الحساسة لفترة تأخير والمتعطشة للسرعة ، غالباً ما يصبح النظام الفرعي للشبكة هو أضعف حلقة.

هذا الكتاب الأبيض يعالج هذه التحديات من خلال حل شاملNVIDIA Mellanox MCX4121A-ACATتم تصميمه للمؤسسات التي تسعى إلى إطلاق الإمكانات الكاملة للبنية التحتية 25GbE،بطاقة مكيستير إيثرنت MCX4121A-ACATيجمع بين اتصال 25GbE مزدوج الموانئ مع RDMA المتسارع بالأجهزة عبر Ethernet المتقارب (RoCE). يستهدف الحل ثلاثة أهداف رئيسية: (1) تقليل فترة تأخير مستوى التطبيق إلى أقل من 10μs ،(2) خفض تكاليف معالجة شبكة وحدة المعالجة المركزية بنسبة تزيد عن 80٪، و (3) تمكين التوسع السلس من عدد قليل من العقد إلى المئات دون إعادة تصميم الهندسة المعمارية.

2تصميم بنية الشبكة والنظام بشكل عام

تعتمد الهندسة المعمارية الموصى بها توبولوجيا ورقة العمود الفقري مع 25GbE كطبقة الوصول إلى الخادم و 100GbE uplinks إلى العمود الفقري. في قلب التصميم هوMCX4121A-ACAT ConnectX-4 Lx منفذ مزدوج 25GbE SFP28المكيف، يتم نشره في كل عقدة حاسوبية وتخزينية. بنيت الهندسة المعمارية حول ثلاثة مبادئ أساسية:

• نسيج إيثرنت بدون خسارة:الاستفادة من RoCE v2 مع PFC (تحكم التدفق الأولوي) و ECN (إخطار الازدحام الصريح) للقضاء على قطرات الحزم وضمان تأخير محدد.
• تحميل الأجهزة في كل مكان:تحميل معالجة طبقة النقل بما في ذلك مجموعات التحقق ، والجزء ، و RDMA إلى المحول ، مما يحرر دورات وحدة المعالجة المركزية للتطبيقات التجارية.
• التكرار النشط النشطاستخدام كل من منافذ SFP28 في وضع تجميع الروابط (LACP) لنطاق النطاق الترددي الكلي 50Gb / s وتغيير الفشل التلقائي.

الحل هو تمامامتوافق مع MCX4121A-ACATمع منصات الخادم الرائدة (Dell PowerEdge ، HPE ProLiant ، Supermicro) ومفاتيح من NVIDIA Spectrum و Arista. للتخزين ، تدعم الهندسة المعمارية NVMe-oF عبر RoCE ،تمكين التخزين الممزق المشترك مع فترات تأخير تقترب من محركات NVMe المحلية.

3الدور والميزات الرئيسية لـ NVIDIA Mellanox MCX4121A-ACAT

كمكون أساسي لهذا الحل،NVIDIA Mellanox MCX4121A-ACATيخدم ثلاثة وظائف حاسمة:

المواصفات الرئيسية المستخرجة منورقة بيانات MCX4121A-ACATتتضمن واجهة PCIe 3.0 x8 المضيف ، والحمولات الشاملة (مجموع التحقق ، LSO / LRO ، VLAN stripping / insertion) ، والقياس عن بعد المتقدم لكل منفذ.كفاءة طاقة المحول (< 10W نموذجية) ودعم نظام تشغيل واسع (لينكس)، ويندوز، و VMware ESXi) تجعله كتلة بناء متعددة الاستخدامات للبيئات غير المتجانسة.

4توصيات النشر والتوسع

بالنسبة للتنفيذات الخضراء ، نوصي بتوصيف طوبولوجيا صفحة العمود الفقري من مستويين مع وصول 25GbE و 100GbE / 400GbE Uplinks. يستضيف كل خادم واحدبطاقة مكيستير إيثرنت MCX4121A-ACATمع اتصال كلا الموانئ إلى مفاتيح ورقة منفصلة للتكرار. يتطلب نسيج RoCE تكوينًا متسقًا لجودة الخدمة عبر جميع المفاتيح ‬ على وجه التحديد ،PFC على الأولوية 3 و ECN علامة على نفس فئة الحركةنوصي بتخصيص شبكة VLAN مخصصة لحركة المرور RoCE لتبسيط المراقبة وإصلاح الأخطاء.

بالنسبة لبيئات الحقل البني،حل بطاقة MCX4121A-ACAT Ethernet adapterيقدم مسار هجرة لطيف. نظرًا لأن المكيف متوافق مع نظرية SFP + 10GbE ، يمكن إعادة استخدام الكابلات الموجودة أثناء الترقية التدريجية إلى 25GbE.كما يدعم المحول التبديل القياسي لـ Ethernet دون تمكين RoCE الإلزامي، مما يسمح للفرق بنشر الأجهزة أولاً وتفعيل قدرات RDMA في مراحل مع نضوج النسيج.

وتوسيع نطاق الحل بسيط: يتم ببساطة توفير العقد الإضافية مع نفسمكس4121A-ACAT للبيعSKU، والنسيج يستوعب تلقائيًا النقاط النهائية الجديدة عبر LLDP و DCBx التفاوض.نحن نوصي بنشر جهاز تحكم خاص لإدارة الازدحام (RoCE)على سبيل المثال ، NVIDIA Spectrum switch مع telemetry مدمجة) للحفاظ على السلوك غير الخاسر على نطاق واسع.

5العمليات، المراقبة، حل المشاكل وتحسين

يتطلب التشغيل الفعال لنسيج RoCE استراتيجية مراقبة متعددة الطبقات:

• "القياس عن بعد على مستوى المحول"الـمواصفات MCX4121A-ACATتشمل عدادات في كل منفذ للفريمات PFC، والحزم المميزة ECN، والإطارات التي سقطت.5 ملمأو أدوات البرمجيات الثابتة NVIDIA لتصدير هذه إلى بروميثيوس / Grafana.
• مراقبة مستوى التبديل:مراقبة احتلال العازل، وعدد إطار التوقف، وعمق الطابور على مفاتيح العمود الفقري والورق. الزيادات المفاجئة في إطارات التوقف تشير إلى الازدحام الدقيق الذي قد يتطلب ضبط عتبة ECN.
• مقاييس مستوى التطبيق:بالنسبة لتطبيقات RDMA، تتبع فترات تأخر إكمال طلب العمل (WR) وحوادث الإفراط في طابور الإكمال (CQ) باستخدام المكتبات المقدمة من البائع.

تتضمن سيناريوهات استكشاف الأخطاء الشائعة:

• تدهور أداء RoCE:تأكد من تم تمكين PFC على جميع منافذ المفتاح وأن علامة DSCP تتطابق مع تكوين المفتاح.ورقة بيانات MCX4121A-ACATللتحقق من صحة إعدادات تخصيص العازل.
• الخطأ في التشغيل أو الخطأ في CRC:تحقق من جودة كابل SFP28 وتأكد من تحديث برنامج الكابل إلى أحدث إصدار.
• وحدة المعالجة المركزية لا تزال عالية على الرغم من التحميل:تأكيد أن RDMA يتم استخدامها بالفعل (لا تعود إلى TCP) عن طريق فحص عدادات السائق وسجلات التطبيق.

للتحسين، نوصي بمعلمات ضبط التالية (مستمدة من التحقق من صحة المختبر الواسعة النطاق): - Set interrupt coalescing (moderation) to 4 µs for mixed workloads - Enable hardware timestamping for precise latency measurement - Configure RSS (Receive Side Scaling) across multiple CPU cores for non-RDMA traffic - For storage workloads، زيادة الحد الأقصى RDMA MTU إلى 4096 بايت لتقليل البروتوكول العلوي

6ملخص وتقييم القيمة

الـNVIDIA Mellanox MCX4121A-ACATيقدم الحل قيمة تحويلية لمراكز البيانات الحديثة. من خلال استبدال TCP / IP ب RDMA / RoCE ، يمكن للمؤسسات تحقيق تخفيضات في فترة الكمون على مستوى التطبيقات بنسبة 5 × 10 ،تخفيض تكاليف شبكة المعالجة المركزية بنسبة تزيد عن 80%، وزيادة كثافة حاوية الخادم بنسبة 30~50٪.بطاقة مكيستير إيثرنت MCX4121A-ACATيوفر مسارًا فعالًا من حيث التكلفة لاعتماد 25GbE مع حماية الاستثمار من خلال التوافق الخلفي وقدرات التخلص الجاهزة للمستقبل.

عند تقييم التكلفة الإجمالية للملكيةMCX4121A-ACAT السعريتم تعويضها من خلال وفورات تشغيلية كبيرة: عدد خادمات أقل (بسبب ارتفاع الاستخدام) ، وتكاليف تبريد أقل (بفضل استهلاك الطاقة < 10W) ،والقضاء على أنسجة InfiniBand منفصلة أو أنسجة خاصة. الحل هو تمامامتوافق مع MCX4121A-ACATمع النظم الإيكولوجية الرئيسية مفتوحة المصدر، بما في ذلك Kubernetes و Apache Spark و TensorFlow، مما يضمن قابلية تطبيق واسعة عبر الشركات ونشر السحابة الأصلية.

للحصول على نصوص نشر مفصلة، قوالب تكوين، وتقارير مقارنة الأداء، يرجى الرجوع إلى الرسميورقة بيانات MCX4121A-ACATوبوابة توثيق الشبكات NVIDIA. هذه الورقة البيضاء بمثابة نقطة انطلاق: يتم التحقق من صحة الهندسة المعمارية ، والمكونات جاهزة للإنتاج ، والفوائد قابلة للقياس.MCX4121A-ACAT ConnectX-4 Lx منفذ مزدوج 25GbE SFP28ليس مجرد محول، بل هو محفز استراتيجي لمراكز البيانات المستقبلية المعدة لـ RDMA ومُحسّنة للسرعة.