Mellanox (NVIDIA Mellanox) MCX556A-ECAT الخادم NIC الحل التقني

توفر هذه الورقة البيضاء مهندسي الشبكات، مهندسي ما قبل المبيعات، وقادة العمليات إطار تقني شامل لتنفيذميلانوكس (NVIDIA Mellanox) MCX556A-ECATمحول شبكة الخادم. يركز الحل على القضاء على اختناقات TCP / IP من خلال RDMA / RoCE ،توفير اتصالات محددة منخفضة الكمون مع زيادة قدرة الخادم على الحملات العاملة كثيفة البيانات.

1خلفية المشروع وتحليل المتطلبات

تتشارك بيئات مراكز البيانات الحديثة، بما في ذلك مجموعات تدريب الذكاء الاصطناعي، وقواعد البيانات الموزعة، والبنية التحتية المتقاربة للغاية، ومنصات التداول عالية التردد، في قيود مشتركة:يستهلك كومة الشبكة التقليدية 30-50٪ من دورات وحدة المعالجة المركزية على نسخ الذاكرةمع ارتفاع سرعات الروابط إلى 100 جيجابت في الثانية وما بعدها، تصبح الشبكات القائمة على البرمجيات غير مستدامة.تتضمن المتطلبات الرئيسية للجيل التالي من اتصال الخادم: تأخير بين العقدات أقل من 5 ميكرو ثانية ، وتكاليف المعالجة المركزية أقل من 10٪ لكل وصلة 100 جيجابت في الثانية ، والنقل غير الخاسر لبروتوكولات التخزين (NVMe-oF) ، والتكامل السلس مع بنية تحتية Ethernet الحالية.الـحل البطاقات المتكاملة MCX556A-ECAT Ethernetيتناول مباشرة هذه المطالب.

2تصميم بنية الشبكة/النظام بشكل عام

البنية الموصى بها تنشرNVIDIA Mellanox MCX556A-ECATكما هو الحال مع محول 100GbE مزدوج الموانئ في كل عقدة حاسوبية أو تخزينية. يعتمد الحل على توبولوجيا صفحة العمود الفقري ذات مستويين مع دعم RoCE (RDMA على Ethernet المتقارب). تشمل القرارات المعمارية الرئيسية:

• أساس إيثرنت بدون خسارة: تمكين التحكم في تدفق الأولوية (PFC) على الموانئ التي تحمل حركة المرور RoCE وتهيئة عتبات ECN (إخطار الازدحام الصريح) على المفاتيح الورقية.
• فئات حركة منفصلة: تعيين حركة مرور RoCE إلى طابور أولوية مخصص (عادة 3 أو 5) مع جدولة أولوية صارمة.
• إدارة العازل: تخصيص مجموعات العازل المشتركة على المفاتيح وفقامواصفات MCX556A-ECAT(يتم التوصية بـ 4MB لكل منفذ للعمل دون خسارة).

كل واحدبطاقة الشبكة PCIe MCX556A-ECAT ConnectXيتم توصيلها إلى مفتاح ورق عبر أجهزة QSFP28 البصرية (SR4 ، LR4 ، أو AOC / DAC اعتمادًا على المسافة) ، للحصول على توفر عال ،تكوينات التوجيه المزدوج تربط كل من الموانئ ◄ النشطة النشطة للسرعة أو النشطة في حالة الاستعداد لتحويل الفشلمستوى التحكم يستخدم الإيثيرنت القياسي و IP، بينما مستوى البيانات يستفيد من RDMA لنقل النسخة الصفرية.

3الدور والميزات الرئيسية لـ Mellanox (NVIDIA Mellanox) MCX556A-ECAT في الحل

الـMCX556A-ECATيعمل كمحرك تحويل الحمل الحرج بين ذاكرة الخادم ونسيج الشبكة. يزيل نقله القائم على الأجهزة مشاركة النواة في حركة البيانات.ورقة بيانات MCX556A-ECATتشمل:

الـبطاقة مكيج 556A-ECAT Ethernetكما يتضمن التوجيه المتقدم (تصنيف التدفق إلى 128 طابور افتراضي) ، SR-IOV مع ما يصل إلى 512 وظيفة افتراضية ، وتعويض توقيت الأجهزة لبروتوكول الوقت الدقيق (PTP).هذه الميزات تجعله محرك تسريع مسار البيانات الكامل، وليس مجرد واجهة عالية السرعة.

4توصيات النشر والتوسيع (التوصيات النموذجية)

بالنسبة لمجموعة متوسطة الحجم (64 ′′ 256 عقدة) ، يوصى بالتوضيح التالي:

• طبقة الأوراق: اثنين أو أربعة 48 منفذ 100GbE RoCE المفتاحات (على سبيل المثال، NVIDIA SN3700). كل ورقة تتصل إلى 24 ٪ 48 الخوادم، معمتوافق مع MCX556A-ECATمنافذ QSFP28
• طبقة العمود الفقري: أربعة مفاتيح 400GbE ذات 32 منفذًا توفر 128 وصلة صعودية 100GbE غير مقفلة من الأوراق.
• تكوين الخادمواحدMCX556A-ECATلكل خادم ، الميناء A إلى مفاتيح الورقة A ، الميناء B إلى مفاتيح الورقة B. هذا يعطي عرض النطاق الترددي الإجمالي 200Gbps وتكرار المسار.

يتطلب توسيع نطاق النسيج إلى ما وراء 256 عقدة إضافة أزواج ورقة العمود الفقري أو الهجرة إلى بنية Clos ذات 3 مراحل.سعر MCX556A-ECATضد القدرة المستقبلية، عامل في أن المكيف هومتوافق مع MCX556A-ECATمع لوحات أم PCIe 4.0 (تعمل عند 3.0 x16 في البداية) ، مما يوفر مسارًا سهلًا للتحديث.

5العمليات، المراقبة، حل المشاكل وتحسين

تتطلب التميز التشغيلي لنشرات RoCE مراقبة وتعديل محدد. وتشمل الممارسات الرئيسية:

• عدادات المراقبة: الاستخدامأداة إثنائيةلتتبع أطر التوقف الأولوية و CNP (حزم إشعارات الازدحام).مواصفات MCX556A-ECATوثيقة القيم الأساسية المتوقعة.
• ضبط العازل: قم بتكوين عازلات خروج التبديل إلى 4 ′′ 6MB لترتيبات RoCE. العازلات غير الكافية تسبب عواصف PFC وانهيار الإنتاجية.
• إدارة البرمجيات الثابتة: الحفاظ على أحدث البرمجيات الثابتة (متوفرة من بوابة دعم المؤسسات NVIDIA) لمعالجة الأخطاء والحصول على تحسينات الأداء الموثقة فيورقة بيانات MCX556A-ECAT.
• أداء أساسيإهربib_write_bwوib_read_latمن مجموعة أدوات OFED. النتائج المتوقعة: 98 ٪ 99 جيجابايت في الثنائي الاتجاه مع 0.8 ٪ 1.2 ميكرو ثانية تأخير للرسائل 8 بايت.

سيناريوهات استكشاف الأخطاء الشائعة: حواجز PFC (التحقق من وجود تعيينات خط الانتظار غير المهيأة بشكل صحيح) ، صفقات الرابط (تحقق من تقييمات الطاقة والكابلات) ،وتوقيت الإيقافات للاتصال RDMA (ضمان اتساق MTU عند 4200 بايت للوصات الضخمة)لفرق البحثMCX556A-ECAT للبيعلتوسيع المجموعات ، يمنع محاذاة البرمجيات الثابتة قبل المرحلة بين المجموعات مفاجآت التوافق.

6ملخص وتقييم القيمة

الـMCX556A-ECATيقدم مقترح قيمة واضح لمراكز البيانات الحديثة.NVIDIA Mellanox MCX556A-ECATيقلل من فترة تأخير التطبيقات بمقدار 10 أضعاف مقارنة مع TCP، ويقلل من تكاليف شبكة وحدة المعالجة المركزية بنسبة 85٪، ويقوم بتفريغ تفكيك التخزين عن طريق NVMe-oF.قدرة البطاقة على منفذين 100GbE توفر مساحة متقدمة في المستقبل؛ بالنسبة لفرق العمليات ، يسهل كومة برامج التشغيل الناضجة (أوبستريم لينكس ويندوز و VMware) الإدارة.سعر MCX556A-ECATالنسبة إلى التكلفة الإجمالية للملكية، بما في ذلك ترخيص البرمجيات، والطاقة، والتبريد، يقوم المحول عادة بدفع نفسه في غضون 6-12 شهرًا من خلال توحيد الخادم.بطاقة مكيج 556A-ECAT Ethernetأوبطاقة الشبكة PCIe MCX556A-ECAT ConnectX، هذا الحل لا يزال تصميم مرجعية لشبكات إثنتر بدون خسارة، عالية الصلبة.