NVIDIA Mellanox MCX623106AN-CDAT محول الخادم الكتاب الأبيض التقني

NVIDIA Mellanox MCX623106AN-CDAT خادم محول ورقة بيضاء تقنية

1خلفية المشروع وتحليل المتطلبات

تشهد مراكز البيانات الحديثة تحولًا في النموذج مدفوعًا بالنمو المتفجر للذكاء الاصطناعي والتعلم الآلي على نطاق واسع والتحليلات في الوقت الحقيقي.هذه الأحمال العاملة تتطلب أداء شبكة غير مسبوق ليس فقط عرض النطاق الترددي الخام، ولكن تأخيرًا محددًا أقل من 5μs ، وحركة البيانات الفعالة لمعالجة المعالجة المركزية ، والقدرة على التوسع بسلاسة إلى الآلاف من العقد.أصبحوا خنقاً حاسماً، يستهلك ما يصل إلى 40٪ من نواة وحدة المعالجة المركزية عند سرعات 200GbE ويقدم اختلافات تأخير غير متوقعة تدهور أداء التطبيق.للمنظمات التي تبني مجموعات الذكاء الاصطناعي واسعة النطاق (500 + GPUs) أو بنية تحتية سحابة فائقة النطاق، هذه عدم الكفاءة تترجم مباشرة إلى أوقات تدريب طويلة، وارتفاع تكاليف البنية التحتية، وأوقات تسويق أبطأ.

تقدم هذه الورقة البيضاء حلًا تقنيًا شاملًا يركز علىNVIDIA Mellanox MCX623106AN-CDATمصممة للمؤسسات التي تسعى إلى تعظيم استثماراتها في 200GbE،بطاقة مكيستير إيثرنت MCX623106AN-CDATتوفر RDMA المتسارعة بالأجهزة عبر Ethernet المتقاربة (RoCE) ، مما يتيح نقلًا غير الخاسر والمتأخر للغاية الذي يحول إدخال الشبكة / إخراجها من عنق الزجاجة في التوسع إلى ميزة تنافسية.تم تصميم الحل خصيصا لتحقيق ثلاثة أهداف أساسية: (1) تحقيق تأخير التطبيق من نهاية إلى نهاية أقل من 5μs للاتصالات الجماعية للذكاء الاصطناعي ، (2) تقليل تكاليف معالجة شبكة وحدة المعالجة إلى أقل من 5٪ ، و (3) توفيرأساس مضاد للمستقبل لـ 200GbE وما بعده.

2تصميم بنية الشبكة والنظام بشكل عام

تتبنى الهندسة المعمارية الموصى بها توبولوجيا العمود الفقري الأوراق عالية الأداء مع 200GbE كطبقة وصول الخادم و 400GbE / 800GbE روابط صعودية إلى العمود الفقري. في جوهر هذا التصميم هوبطاقة الشبكة PCIe MCX623106AN-CDAT، يتم نشرها في كل عقدة الحوسبة والتخزين عبر النسيج. بنيت الهندسة المعمارية حول ستة مبادئ رئيسية:

• نسيج إيثرنت بدون خسارة:الاستفادة من RoCE v2 مع PFC (تحكم تدفق الأولوية) و ECN (إخطار الازدحام الصريح) عبر جميع المفاتيح للقضاء على انخفاض الحزم وضمان تأخير محدد لحركة RDMA.
• GPUDirect RDMA:تمكين الاتصالات المباشرة من GPU إلى GPU عبر الشبكة دون مشاركة وحدة المعالجة المركزية، والحد من فترة التأخير وتحرير موارد وحدة المعالجة المركزية لأداء مهام الحوسبة.
• تحميل الأجهزة في كل مكان:تحميل بروتوكولات النقل والأمن (IPsec / MACsec) ، وتخزين البروتوكولات إلى المحول ، مما يحرر دورات وحدة المعالجة المركزية من أجل منطق التطبيق.
• التكرار النشط النشطاستخدام كل من منافذ QSFP112 في وضع تجميع الروابط (LACP) لنطاق النطاق الترددي المجمع 400Gb / s والتحويل التلقائي للفشل مع استعادة الفرعية.
• هندسة المرور الذكية:التوجيه التكيفي وتسليم الحزم خارج النظام لتجنب نقاط الازدحام وتعظيم استخدام النسيج.
• تقييم المدى الشامل:تقييم الشبكة عبر النطاق (INT) ومراقبة التدفق لكل تدفق للكشف الاستباقي عن الازدحام وتخطيط القدرة.

الحل هو تمامامتوافق مع MCX623106AN-CDATمع منصات NVIDIA GPU (HGX ، DGX) وخوادم وحدة المعالجة المركزية الرائدة من Dell و HPE و Supermicro و Lenovo. للتخزين ، تدعم الهندسة المعمارية NVMe-oF عبر RoCE مع تأخير أقل من 15μs ،تمكين التخزين المشترك المنقسم لمجموعات التدريب على نطاق واسع.

3الدور والميزات الرئيسية لـ NVIDIA Mellanox MCX623106AN-CDAT

كمكون أساسي لهذا الحل،NVIDIA Mellanox MCX623106AN-CDATيخدم أربعة أدوار حاسمة داخل الهندسة المعمارية:

المواصفات التقنية الرئيسيةورقة بيانات MCX623106AN-CDATتتضمن قدرات شاملة على إزالة الحمل (مجموعة التحكم ، LSO / LRO ، خلع / إدراج VLAN ، RSS مع ما يصل إلى 128 طابورًا) ، خوارزميات مكافحة الازدحام المتقدمة ،ودعم كامل لمكتبات الاتصالات الجماعية لـ NVIDIA (NCCL).مواصفات MCX623106AN-CDATكما يسلط الضوء على دعم التوافق بين 100GbE و 50GbE ، مما يوفر مرونة النشر للبيئات المختلطة السرعة.

4توصيات النشر والتوسع

بالنسبة لمجموعات الذكاء الاصطناعي الخضراء ، نوصي بتصميم طوبولوجية صفحة العمود الفقري من مستويين مع وصول 200GbE و800GbE Uplinks. يستضيف كل خادم واحدبطاقة مكيستير إيثرنت MCX623106AN-CDATمع كل من منافذ QSFP112 متصلة إلى مفاتيح ورقة منفصلة للتكرار. نسيج RoCE يتطلب تكوين QoS متسق عبر جميع المفاتيحPFC على الأولوية 3 (للنقل الجماعي RDMA) والأولوية 4 (للتخزين)، مع علامة ECN على نفس فئات حركة المرور. نوصي بتخصيص شبكات VLAN منفصلة لـ RDMA وإدارة التخزين وحركة المرور المستأجر لتبسيط المراقبة وإصلاح الأخطاء.

بالنسبة لبيئات الحقل البني مع البنية التحتية الحالية 100GbE،حل البطاقات المتحولة لـ MCX623106AN-CDAT Ethernetيقدم مسار هجرة لطيف. نظرًا لأن المحول متوافق مع 100GbE QSFP56 البصريات ، يمكن إعادة استخدام الكابلات الحالية أثناء الترقية التدريجية إلى 200GbE.كما يدعم المحول التبديل القياسي لـ Ethernet دون تمكين RoCE الإلزامي، مما يسمح للفرق بنشر الأجهزة أولاً وتفعيل قدرات RDMA في مراحل مع نضج النسيج وحملات العمل تبرر الانتقال.

يتطلب توسيع الحل إلى ما وراء 500 عقدة اعتبارات إضافية.نحن نوصي بتنفيذ استراتيجية إدارة الازدحام RoCE المخصصة باستخدام NVIDIA Spectrum-4 المفاتيح مع القياس عن بعد المدمجة وتعديل عتبة ECN الديناميكيةبالنسبة للمجموعات التي تتجاوز 1000 عقدة، فكر في نشر وحدة تحكم مركزية لإدارة النسيج (على سبيل المثال، NVIDIA NetQ) للحفاظ على الرؤية من النهاية إلى النهاية وتثبيت التكوين الآلي.MCX623106AN-CDAT للبيعمن خلال شركاء قناة NVIDIA العالمية يتضمن ضمانًا شاملًا ودعم تحديث البرمجيات الثابتة ، مما يضمن موثوقية طويلة الأجل على نطاق واسع.

5العمليات، المراقبة، حل المشاكل وتحسين

يتطلب التشغيل الفعال لنسيج RoCE استراتيجية مراقبة وإصلاح مشاكل متعددة الطبقات:

• "القياس عن بعد على مستوى المحول"الـمواصفات MCX623106AN-CDATتشمل العدادات لكل منفذ لإطارات PFC ، والحزم المميزة بـ ECN ، والإطارات المنسوبة ، وأخطاء الرابط ، وأوقات الازدحام.5 ملم,إيثتول، أو أدوات برمجيات NVIDIA لتصدير هذه المقاييس إلى لوحات Prometheus / Grafana مع تنبيهات مناسبة.
• تقييم الشبكة داخل النطاق (INT):الاستفادة من دعم INT للمحول لتتبع فترات تأخير لكل تدفق وعمق الطابور عبر النسيج ، مما يتيح تحديد مصادر الازدحام الدقيق.
• مراقبة مستوى التبديل:مراقبة احتلال العازل، عدد الإطار توقف، عمق الطابور، ومعدلات علامة ECN على العمود الفقري والورق المفتاحات.الزيادات المفاجئة في إطارات التوقف تشير إلى الازدحام الدقيق الذي قد يتطلب ضبط عتبة ECN.
• مقاييس مستوى التطبيق:بالنسبة لتطبيقات RDMA ، تتبع فترات تأخر إكمال WR (طلب العمل) ، وأحداث التفريغ CQ (صفوف الإكمال) ، وعدد أخطاء QP (صفوف الزوج) باستخدام مكتبات NVIDIA libibverbs و rdma-core.

السيناريوهات الشائعة لحل المشاكل والإجراءات الموصى بها:

• تدهور أداء RoCE:تأكد من تم تمكين PFC على جميع منافذ المفتاح وأن علامة DSCP تتطابق مع تكوين المفتاح.ورقة بيانات MCX623106AN-CDATللتحقق من صحة إعدادات تخصيص العازل مقابل القيم الموصى بها لملف تحميل العمل الخاص بك.
• الخطأ في التشغيل أو الخطأ في CRC:تحقق من جودة كابل QSFP112 (ضمان الامتثال لمواصفات 200G AOC أو DAC) وتحقق من تحديث برمجيات المحول إلى أحدث إصدار.
• مشاكل في أداء GPU Direct:تأكيد أن GPUDirect تم إطلاقها بشكل صحيح وأن طبقة PCIe تدعم DMA من نظير إلى نظير دون التبديل الوسيطي.
• تعطل PFC أو توقف العاصفة:تحقق من وجود أولويات غير مرتبة بشكل صحيح، وتأكد من تمكين PFC فقط على فئات حركة RoCE (وليس على حركة الإدارة أو التخزين).

من أجل التحسين، نوصي بالمعايير التالية المعتمدة على التحقق من صحة المختبر:

• انقطاع التجميع (الاعتدال):تعيين إلى 2 ¢ 4 ميكرو ثانية لحملات عمل تدريب الذكاء الاصطناعي لتقليل فترة التأخير مع الحفاظ على كفاءة وحدة المعالجة المركزية.
• وحدة RDMA:زيادة إلى 4096 بايت للاتصالات الحد من كل لتقليل النظام العام وتحسين الناتج.
• الرسائل الرسومية (توسيع نطاق جانب الاستقبال):تكوين عبر العديد من نواة وحدة المعالجة المركزية للحركة غير RDMA لتوزيع المعالجة وتجنب تشبع النواة الواحدة.
• عتبات ECN:حدد الحد الأدنى من الحد الأدنى إلى 40٪ من العازل والحد الأقصى إلى 75٪ للحركة ذات الأولوية 3 ، مع تعديل على أساس أنماط الازدحام الملاحظة وخصائص عبء العمل.

6ملخص وتقييم القيمة

الـNVIDIA Mellanox MCX623106AN-CDATيقدم الحل قيمة تحويلية لمراكز البيانات الحديثة على نطاق الذكاء الاصطناعي. من خلال استبدال TCP/IP القائم على البرمجيات بـ RDMA/RoCE و GPUDirect المتسارعة بالأجهزة ،يمكن للمنظمات تحقيق انخفاضات في فترة تأخير على مستوى التطبيقات بنسبة 8 × 10، تخفيض تكاليف شبكة وحدة المعالجة المركزية بنسبة تزيد عن 85٪، وزيادة استخدام وحدة المعالجة المركزية من أقل من 70٪ إلى أكثر من 95٪.بطاقة مكيستير إيثرنت MCX623106AN-CDATيوفر مسارًا فعالًا من حيث التكلفة لاعتماد 200GbE مع حماية الاستثمار من خلال التوافق الخلفي مع 100GbE وقدرات التخفيض الجاهزة للمستقبل لأحمال العمل الناشئة.

عند تقييم التكلفة الإجمالية للملكيةMCX623106AN-CDAT السعريتم تعويضها عن طريق وفورات تشغيلية كبيرة: وقت تدريب أقل (تسريع وقت التسويق) ، عدد أقل من الخوادم (بسبب ارتفاع استخدام GPU) ،انخفاض تكاليف التبريد (بفضل استهلاك الطاقة < 20 واط)، والقضاء على الأقمشة InfiniBand منفصلة.متوافق مع MCX623106AN-CDATمع مجموعات برمجيات الذكاء الاصطناعي و HPC الرئيسية ، بما في ذلك مكتبات NVIDIA NCCL و PyTorch و TensorFlow و MPI ، مما يضمن قابلية التطبيق على نطاق واسع عبر عمليات نشر المؤسسات والسحابة والبحوث.

للحصول على نصوص نشر مفصلة، قوالب تكوين، وتقارير مقارنة الأداء، يرجى الرجوع إلى الرسميورقة بيانات MCX623106AN-CDATوبوابة توثيق الشبكات الشاملة لشركة NVIDIA. هذه الورقة البيضاء بمثابة أساسوالفوائد قابلة للقياس.بطاقة الشبكة PCIe MCX623106AN-CDATليس مجرد محول، بل هو محفز استراتيجي لمركز البيانات المستقبلي جاهز للذكاء الاصطناعي وذو تأخير منخفض للغاية.