NVIDIA Mellanox MCX653105A-HDAT محول الخادم الحل التقني

الحل التقني لمحول الخادم NVIDIA Mellanox MCX653105A-HDAT: بنية نقل زمن الاستجابة المنخفض RDMA/RoCE وتعزيز إنتاجية الخادم

1. خلفية المشروع وتحليل المتطلبات

مع استمرار تدريب نماذج اللغة الكبيرة (LLM)، ومحاكاة الحوسبة عالية الأداء، وأعباء عمل تحليل البيانات في الوقت الفعلي في التوسع، تواجه شبكات مراكز البيانات تقاربًا غير مسبوق للمتطلبات. تتطلب مجموعات وحدات معالجة الرسومات الحديثة المعجلة ليس فقط نطاقًا تردديًا هائلاً ولكن أيضًا زمن استجابة في نطاق الميكروثانية، وأداءً حتميًا، وإدارة ذكية لحركة المرور. تفشل البنى الشبكية التقليدية، المبنية على TCP/IP وإيثرنت القياسي، باستمرار في تلبية هذه المتطلبات - مما يؤدي إلى تذبذب زمن الاستجابة غير المتوقع، واستهلاك موارد وحدة المعالجة المركزية المفرطة لمعالجة البروتوكول، ونقص قابلية البرمجة اللازمة للتحسين الخاص بأعباء العمل.

تشمل متطلبات المؤسسات الرئيسية التي تدفع اعتماد محولات الخادم المتقدمة ما يلي:

• زمن استجابة منخفض للغاية على نطاق واسع: تتطلب وظائف التدريب الموزع زمن استجابة اتصالات جماعية أقل من 500 ميكروثانية عبر مئات العقد للحفاظ على استخدام وحدة معالجة الرسومات فوق 90٪.
• تفريغ وحدة المعالجة المركزية بما يتجاوز الشبكات الأساسية: يجب أن تستهلك معالجة الشبكة أقل من 8٪ من موارد وحدة المعالجة المركزية لكل عقدة لحجز السعة لمعالجة البيانات المسبقة وتخزين نقاط الفحص للنموذج.
• أمان بمعدل الخط: يجب إجراء تشفير البيانات أثناء النقل (IPsec/MACsec) بسرعة السلك دون المساس بالإنتاجية أو إضافة زمن استجابة كبير.
• مسار بيانات قابل للبرمجة: يجب أن يدعم المحول توجيه حركة المرور المخصص ومعالجة الحزم لاستيعاب أنماط أعباء العمل المتطورة وابتكارات البروتوكول.
• قابلية التوسع السلس: يجب أن تتوسع البنية التحتية من عشرات إلى مئات العقد مع نمو خطي في الأداء ودون انفجارات في التعقيد التشغيلي.

يمثل NVIDIA Mellanox MCX653105A-HDAT لمعالجة هذه المتطلبات بشكل شامل، ليكون بمثابة اللبنة الأساسية لشبكات مراكز البيانات من الجيل التالي.

2. تصميم بنية الشبكة/النظام الشاملة

تستخدم البنية المقترحة طوبولوجيا ورقة-عمود عالية الأداء محسّنة لنقل RoCEv2. في قلب هذا التصميم يكمن حل محول إيثرنت MCX653105A-HDAT، والذي يتم نشره في كل عقدة خادم لتوفير اتصال نطاق ترددي فائق مع قدرات تفريغ متقدمة.

طبقات البنية:

• عقد الحوسبة/التخزين: كل خادم مجهز بـ بطاقة شبكة محول PCIe MCX653105A-HDAT، تم تكوينها باتصال مزدوج المنفذ 100GbE. تعمل كلا المنفذين في وضع نشط-نشط، مما يوفر إنتاجية مجمعة تبلغ 200 جيجابت في الثانية مع موازنة تحميل وفشل قائم على الأجهزة. توفر واجهة PCIe 4.0 x16 للمحول نطاقًا تردديًا يبلغ 32 جيجابت في الثانية، مما يلغي اختناقات جانب المضيف.
• طبقة الورقة: توفر مفاتيح NVIDIA Spectrum-4 إعادة توجيه إيثرنت منخفضة الكمون وغير مفقودة مع تحكم متقدم في الازدحام مدرك لـ RoCE (PFC، ECN، و DCQCN). تدعم هذه المفاتيح اتصالات صاعدة بسرعة 400 جيجابت في الثانية وتوفر قياسات شاملة لرؤية النسيج.
• طبقة العمود: تقوم مفاتيح السعة العالية للعمود بربط جميع عقد الورقة عبر اتصالات صاعدة بسرعة 400 جيجابت في الثانية، مما يضمن اتصالًا غير مانع، من أي إلى أي عبر النسيج بأكمله بزمن استجابة حتمي.
• الإدارة والتنسيق: توفر NVIDIA DOCA و MLNX-OS إدارة موحدة، وجمع القياسات، وتنسيق التكوين، وتوفير بدون لمس عبر المكدس بأكمله.

تتضمن البنية المحاكاة الافتراضية للشبكة القائمة على الأجهزة من خلال SR-IOV وتفريغ eSwitch، مما يدعم ما يصل إلى 1000 وظيفة افتراضية لكل محول لعزل فعال متعدد المستأجرين دون المساس بالأداء.

3. دور وميزات NVIDIA Mellanox MCX653105A-HDAT الرئيسية في الحل

يمثل NVIDIA Mellanox MCX653105A-HDAT كواجهة حاسمة بين موارد الحوسبة/التخزين ونسيج الشبكة. تتيح مجموعة ميزاته المتقدمة أهداف الأداء والكفاءة للبنية الشاملة:

وفقًا لـ ورقة بيانات MCX653105A-HDAT، يستهلك المحول 25 واط فقط تحت الحمل الكامل، مما يوفر أداءً رائدًا في الصناعة لكل واط. تفاصيل مواصفات MCX653105A-HDAT الشاملة دعم القياسات المتقدم، بما في ذلك عدادات الأداء لكل تدفق، ورسم بياني لزمن الاستجابة، واكتشاف الازدحام في الوقت الفعلي، وكلها ضرورية للعمليات الشبكية الاستباقية وتخطيط السعة.

4. توصيات النشر والتوسع (مع طوبولوجيا نموذجية)

بالنسبة للمؤسسات التي تخطط للنشر الإنتاجي لـ NVIDIA Mellanox MCX653105A-HDAT، يوصى بالنهج المرحلي التالي:

المرحلة 1 - التحقق من صحة التجربة (4-8 عقد): ابدأ بمجموعة صغيرة للتحقق من تكوين RoCE، وضبط معلمات DCB، وقياس أداء التطبيق. استخدم بطاقة شبكة محول PCIe MCX653105A-HDAT مع أحدث برامج تشغيل NVIDIA OFED ومكدس برامج DOCA. قم بإجراء تحقق شامل لإعدادات PFC و ECN و DCQCN باستخدام بيانات القياسات التي يعرضها المحول.

المرحلة 2 - توسيع الوحدة (20-50 عقدة): قم بالتوسع إلى تكوين رف كامل أو وحدة. انشر زوجًا من مفاتيح NVIDIA Spectrum-4 الورقية مع تكوين إيثرنت غير مفقود. قم بتمكين إدارة الازدحام القائمة على الأجهزة وتكوين سياسات QoS الخاصة بأعباء العمل. يضمن طبيعة الحل المتوافق مع MCX653105A-HDAT التكامل السلس مع منصات الخادم الحالية وتوزيعات Linux.

المرحلة 3 - النشر على مستوى النسيج (100+ عقدة): انشر عبر رفوف متعددة مع مفاتيح العمود التي تربط عقد الورقة. قم بتطبيق سياسات التوجيه التكيفي والتحكم في الازدحام. استفد من NVIDIA Unified Fabric Manager للتنسيق، والتوفير الآلي، والمراقبة على مستوى النسيج.

وصف الطوبولوجيا النموذجية: يتكون تكوين الرف القياسي من 20 خادم حوسبة/تخزين، كل منها مجهز بـ MCX653105A-HDAT واحد. يتصل المنفذ 1 بمفتاح الورقة A، ويتصل المنفذ 2 بمفتاح الورقة B، مما يوفر مسارات نشطة-نشطة زائدة مع تجاوز تلقائي للفشل. تتصل مفاتيح الورقة بمفاتيح العمود عبر 400 جيجابت في الثانية، وتشكل نسيج CLOS بنسبة تجاوز 1:1. يضمن هذا التصميم أن فشل رابط واحد أو مفتاح واحد لا يؤثر على توفر التطبيق، مع آليات استرداد أقل من ثانية.

بالنسبة للمؤسسات التي تقيم التكلفة الإجمالية للملكية، يجب مراعاة سعر MCX653105A-HDAT جنبًا إلى جنب مع وفورات وحدة المعالجة المركزية (عادةً ما يتم استعادة 4-6 نوى لكل خادم)، وزيادة إنتاجية التطبيق بمقدار 3-5 أضعاف، والقدرة على دمج روابط 25 جيجابت في الثانية متعددة. غالبًا ما تتوفر خصومات الحجم لـ MCX653105A-HDAT للبيع مع مفاتيح NVIDIA Spectrum واشتراكات برامج DOCA.

5. العمليات والمراقبة واستكشاف الأخطاء وإصلاحها والتحسين

تتطلب العمليات الفعالة لنسيج RoCE عالي الأداء ممارسات مراقبة واستكشاف أخطاء متخصصة. يوفر MCX653105A-HDAT أدوات شاملة لدعم هذه الأنشطة:

• جمع القياسات والتصور: استخدم عدادات الأجهزة للمحول لمراقبة الإنتاجية لكل تدفق، وعمق قوائم الانتظار، وفقدان الحزم، وتوزيعات زمن الاستجابة بدقة أقل من ثانية. قم بتصدير المقاييس إلى منصات المراقبة القياسية (Prometheus، Grafana، ELK stack) لوحات المعلومات في الوقت الفعلي والتنبيهات.
• اكتشاف الازدحام وإدارته: مراقبة إطارات إيقاف PFC، والحزم المحددة بـ ECN، واحتلال المخزن المؤقت لتحديد وتحديد موقع الانفجارات الدقيقة ونقاط الازدحام المرورية. توفر ورقة بيانات MCX653105A-HDAT إرشادات مفصلة حول تفسير هذه العدادات وإنشاء عتبات تنبيه ذات مغزى.
• إدارة دورة الحياة: التحديثات المنتظمة لمكدس برنامج تشغيل NVIDIA OFED وبرنامج المحول الثابت ضرورية لتحسينات الأداء والأمان والميزات. استخدم NVIDIA DOCA للإدارة الآلية بدون لمس لدورة الحياة عبر عمليات النشر الكبيرة.
• إرشادات ضبط الأداء: تشمل معلمات الضبط الرئيسية عتبات مخزن PFC المؤقت (عادةً 2-4 ميجابايت لكل منفذ)، وحدود علامات ECN (80-90٪ من عمق قائمة الانتظار)، وإعدادات تعديل مقاطعة المحول (موازنة زمن الاستجابة مقابل الإنتاجية)، وتكوين رابط PCIe. تعتمد الإعدادات المناسبة على ملف تعريف عبء العمل المحدد وحجم المجموعة.
• إطار عمل منهجي لاستكشاف الأخطاء وإصلاحها: يمكن تتبع معظم مشكلات الأداء إلى تكوينات DCB غير صحيحة، أو عدم تطابق MTU، أو عدم توافق إصدارات برامج التشغيل، أو مشكلات الكابلات. توفر مجموعة أدوات التشخيص للمحول (mstflint، ethtool، mlxconfig، mlxlink، و mlxband) رؤية شاملة للحالة التشغيلية، وصحة الارتباط، وإحصائيات الأخطاء، واستخدام النطاق الترددي.

6. الملخص وتقييم القيمة

يمثل NVIDIA Mellanox MCX653105A-HDAT استثمارًا استراتيجيًا في البنية التحتية يوفر قيمة تجارية تحويلية عبر أبعاد متعددة:

باعتباره حل محول إيثرنت MCX653105A-HDAT شامل من طرف إلى طرف، فإنه يمكّن المؤسسات من بناء شبكات غير مفقودة وعالية الأداء تحقق الإمكانات الكاملة لأعباء عمل الذكاء الاصطناعي الحديثة، والحوسبة عالية الأداء، والسحابة الأصلية. سواء تم نشره في مراكز بيانات المؤسسات، أو بيئات موفري الخدمات السحابية، أو مرافق البحث المخصصة، فإن NVIDIA Mellanox MCX653105A-HDAT يوفر باستمرار الأداء والكفاءة والذكاء الذي يتطلبه مهندسو الشبكات للبنية التحتية من الجيل التالي.