NVIDIA Mellanox 920-9B210-00FN-0D0 المرجعية التقنية: 400 جيجابايت / ثانية NDR تحسين اتصال متبادل منخفض التأخير

مرجع تقني لـ NVIDIA Mellanox 920-9B210-00FN-0D0: تحسين الربط البيني بزمن انتقال منخفض بسرعة 400 جيجابت/ثانية NDR لمجموعات RDMA/HPC/AI

1. خلفية المشروع وتحليل المتطلبات

مع توسع مجموعات تدريب الذكاء الاصطناعي لتتجاوز 4000 وحدة معالجة رسومات (GPU) ومحاكاة الحوسبة عالية الأداء (HPC) التي تقترب من أداء الإكساسكيل، تواجه شبكات الربط البيني طلبات غير مسبوقة على عرض النطاق الترددي وزمن الانتقال والحتمية. لم يعد التحول من 200 جيجابت/ثانية HDR إلى 400 جيجابت/ثانية NDR اختياريًا للمؤسسات التي تستهدف نماذج ذات تريليون معلمة أو محاكاة الطقس على نطاق الكيلومترات - بل هو ضرورة استراتيجية. تشمل المتطلبات الرئيسية المحددة عبر عمليات النشر الرائدة في مجال البحث والمؤسسات ما يلي:

• زمن انتقال حتمي فائق الانخفاض: زمن انتقال من منفذ إلى منفذ أقل من 100 نانو ثانية لتقليل الحمل الزائد لاتصالات MPI وجميع الاتصالات.
• شبكة غير قابلة للفقد على نطاق واسع: صفر إسقاط للحزم تحت الازدحام عبر آلاف نقاط النهاية، مما يضمن بقاء أداء RDMA قابلاً للتنبؤ.
• تفريغ الحوسبة داخل الشبكة: تفريغ العمليات الجماعية (all-reduce، all-to-all، broadcast) إلى شبكة الربط البيني لزيادة استخدام وحدة معالجة الرسومات (GPU) إلى أقصى حد.
• قابلية التوسع عالية الجذور (High-radix scalability): دعم طوبولوجيات fat-tree و dragonfly+ واسعة النطاق مع عرض نطاق ترددي كامل للانقسام يصل إلى 8000+ عقدة.
• حماية الاستثمار: توافق سلس مع كابلات HDR والبصريات وأدوات الإدارة الحالية لتمكين الترقيات المرحلية.

لمعالجة هذه المتطلبات، يعتمد هذا الحل على NVIDIA Mellanox 920-9B210-00FN-0D0 كوحدة بناء أساسية - مفتاح InfiniBand بسرعة 400 جيجابت/ثانية NDR يوفر الكثافة والأداء والذكاء المطلوبين لعمليات النشر من فئة الإكساسكيل.

2. تصميم بنية الشبكة الشاملة

يستخدم الحل المقترح بنية طوبولوجيا من طبقتين (leaf-spine)، والتي توفر شبكة قابلة للتوسع وغير مانعة مع زمن انتقال حتمي وتوصيلات مبسطة. في طبقة الأوراق (leaf)، يتم تجهيز كل رف حوسبة بوحدة واحدة أو اثنتين من وحدات 920-9B210-00FN-0D0 InfiniBand switch OPN، توفر 64 منفذًا لاتصال 400 جيجابت/ثانية NDR بخوادم GPU عبر كابلات نحاسية مباشرة (DAC) أو كابلات بصرية نشطة (AOC) من نوع OSFP-to-OSFP. في طبقة العمود الفقري (spine)، تقوم طبقة ثانية من مفاتيح 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR بربط جميع مفاتيح الأوراق، مما ينشئ شبكة fat-tree بعرض نطاق ترددي كامل للانقسام.

بالنسبة للمجموعات التي تتجاوز 5000 عقدة، يمكن تنفيذ بنية Clos مطوية من ثلاث طبقات، حيث يعمل مفتاح 920-9B210-00FN-0D0 كأوراق وعمود فقري للحفاظ على أداء متسق عبر جميع المستويات. يدعم المفتاح ما يصل إلى 64 مفتاحًا في شبكة واحدة تحت مدير شبكة فرعية واحد، مما يتيح التحكم الموحد في الطوبولوجيات واسعة النطاق.

يلخص الجدول التالي معلمات التوسع الرئيسية لشبكة NDR ذات طبقتين مبنية حول مفتاح 920-9B210-00FN-0D0:

3. دور وميزات مفتاح NVIDIA Mellanox 920-9B210-00FN-0D0

ضمن هذه البنية، يعمل مفتاح NVIDIA Mellanox 920-9B210-00FN-0D0 كعنصر تبديل أساسي، حيث يوفر العديد من القدرات الحيوية التي تعالج مباشرة المتطلبات المحددة في القسم 1:

• 64 منفذًا بسرعة 400 جيجابت/ثانية NDR: يدعم كل منفذ OSFP سرعة 400 جيجابت/ثانية ثنائية الاتجاه مع تصحيح الأخطاء الأمامي (FEC) لاتصال موثوق به بعيد المدى. توفر سعة التبديل الإجمالية البالغة 51.2 تيرابايت/ثانية هامشًا كبيرًا حتى لأكثر أعباء العمل كثافة في الاتصالات.
• زمن انتقال فائق الانخفاض للقطع (cut-through latency): زمن انتقال من منفذ إلى منفذ أقل من 100 نانو ثانية، كما هو موثق في ورقة بيانات 920-9B210-00FN-0D0، يضمن الحد الأدنى من الحمل الزائد لعمليات MPI و RDMA.
• بروتوكول التجميع والاختزال الهرمي القابل للتوسع (SHARPv3) المدمج: يقوم بتفريغ العمليات الجماعية من وحدات المعالجة المركزية المضيفة، مما يقلل من زمن انتقال all-reduce بنسبة تصل إلى 40% و all-to-all بنسبة تصل إلى 35% في المهام واسعة النطاق.
• التوجيه التكيفي والتحكم في الازدحام: يعيد توجيه حركة المرور ديناميكيًا لتجنب النقاط الساخنة، مما يضمن أداءً قابلاً للتنبؤ تحت أنماط حركة المرور العدائية. توفر القياسات المتقدمة رؤية لكل تدفق ولكل منفذ للإدارة الاستباقية.
• قابلية إدارة شاملة: تكامل كامل مع مدير النسيج الموحد (UFM) من NVIDIA للتزويد بدون لمس، ومراقبة الصحة، والفشل التلقائي.

يقدم مفتاح مواصفات 920-9B210-00FN-0D0 الضوء أيضًا على وحدات إمداد طاقة مزدوجة احتياطية، ووحدات مروحة قابلة للتبديل السريع، ودعم لتكوينات مدير شبكة فرعية احتياطية، مما يضمن توفر بنسبة 99.999% لأعباء العمل الحيوية.

4. توصيات النشر وقابلية التوسع

بالنسبة للمؤسسات التي تخطط لاعتماد حل 920-9B210-00FN-0D0 InfiniBand switch OPN solution، يوصى بإرشادات النشر التالية:

• استراتيجية الكابلات: استخدم كابلات DAC من نوع OSFP-to-OSFP لتوصيلات داخل الرف (حتى 3 أمتار) وكابلات AOC أو مرسلات مستقبلات بصرية لتوصيلات بين الرفوف وتوصيلات العمود الفقري-الأوراق (حتى 100 متر). تحقق من أن جميع الكابلات متوافقة مع 920-9B210-00FN-0D0 وفقًا لمصفوفة توافق NVIDIA لتجنب مشاكل سلامة الإشارة.
• التكرار (Redundancy): قم بنشر وحدات إمداد طاقة مزدوجة متصلة بوحدات توزيع طاقة (PDUs) منفصلة. استخدم مفتاحين على الأقل من مفاتيح العمود الفقري لكل ورقة للقضاء على نقاط الفشل الفردية. بالنسبة لأعباء العمل الحيوية، ضع في اعتبارك تكرار N+1 في طبقة العمود الفقري.
• إدارة البرامج الثابتة (Firmware management): تأكد من أن جميع المفاتيح تعمل بإصدارات برامج ثابتة متطابقة من NVIDIA. استخدم ميزة التحديث التلقائي للبرامج الثابتة في UFM للترقيات المتدرجة دون توقف. تحقق من توافق البرامج الثابتة مع محولات المضيف والكابلات قبل النشر.
• مسار قابلية التوسع: بالنسبة للمجموعات التي تتجاوز 4096 عقدة، انتقل إلى بنية Clos مطوية من ثلاث طبقات أو استفد من dragonfly+ مع التوجيه التكيفي. يدعم مفتاح 920-9B210-00FN-0D0 ما يصل إلى 64 مفتاحًا في شبكة واحدة، مع ربط شبكات متعددة عبر بوابات لعمليات النشر الأكبر.
• التحقق من الأداء: قبل النشر الإنتاجي، قم بإجراء اختبارات إجهاد شاملة باستخدام أدوات مثل معايير أداء توزيع المؤسسات OpenFabrics (OFED) للتحقق من أداء الشبكة مقابل مواصفات ورقة بيانات 920-9B210-00FN-0D0.

عند حساب التكلفة الإجمالية للملكية، ضع في اعتبارك انخفاض عدد طبقات المفاتيح وتبسيط الكابلات مقارنة بالبدائل ذات الجذور الأقل. في حين أن سعر 920-9B210-00FN-0D0 لكل وحدة أعلى من مفاتيح HDR، فإن التكلفة لكل منفذ وتكلفة الشبكات لكل وحدة معالجة رسومات (GPU) أقل بكثير في عمليات النشر واسعة النطاق، مما يجعلها خيارًا فعالاً من حيث التكلفة لمشاريع الإكساسكيل.

5. العمليات والمراقبة واستكشاف الأخطاء وإصلاحها

تتطلب الإدارة الفعالة لشبكة NDR إطار عمل شامل للمراقبة واستكشاف الأخطاء وإصلاحها. يوفر UFM من NVIDIA لوحة تحكم واحدة للنسيج بأكمله المستند إلى NVIDIA Mellanox 920-9B210-00FN-0D0، ويقدم:

• تصور الطوبولوجيا: اكتشاف تلقائي وتمثيل رسومي لجميع المفاتيح والروابط ونقاط النهاية، مع تحديثات الحالة في الوقت الفعلي.
• لوحات معلومات الأداء: عروض في الوقت الفعلي لاستخدام المنافذ، ومعدلات الأخطاء، ومؤشرات الازدحام، واحتلال المخزن المؤقت عبر النسيج بأكمله.
• تنبيه استباقي: إنذارات قائمة على العتبة لتدهور الروابط، وشذوذات درجة الحرارة، وفشل وحدات إمداد الطاقة، وتآكل الكابلات.
• عزل الأعطال: مسارات استكشاف الأخطاء وإصلاحها الموجهة التي تحدد الكابلات أو المرسلات المستقبلات أو منافذ المفاتيح المعيبة، مما يقلل من متوسط وقت الإصلاح (MTTR).
• تحليلات تاريخية: تحليل الاتجاهات وتخطيط السعة بناءً على بيانات الأداء التاريخية، مما يتيح قرارات التوسع الاستباقية.

لحل المشكلات المتقدم، استفد من أدوات التشخيص المدمجة في المفتاح، بما في ذلك اختبارات loopback، وتحليل معدل خطأ البت (BER)، ومراقبة تشخيص الوحدة البصرية (DOM). تشمل المشكلات الشائعة التي تمت مواجهتها في عمليات النشر المبكرة لـ NDR التوجيه غير الأمثل الناجم عن سرعات الروابط غير المتساوية، أو أنواع الكابلات غير المتطابقة، أو عدم اتساق البرامج الثابتة. يؤدي تمكين التوجيه التكيفي، والتحقق من أن جميع الروابط تعمل بسرعة 400 جيجابت/ثانية مع تمكين FEC، وضمان البرامج الثابتة المتسقة عبر جميع المفاتيح إلى حل غالبية شذوذات الأداء.

يجب على مهندسي الشبكات أيضًا إنشاء خط أساس لـ مواصفات 920-9B210-00FN-0D0 أثناء مرحلة التحقق، بما في ذلك زمن الانتقال المتوقع، والإنتاجية، ومعدلات الخطأ. يمكن استخدام الانحرافات عن هذا الخط الأساس كمؤشرات مبكرة للمشكلات المحتملة. يدعم 920-9B210-00FN-0D0 InfiniBand switch OPN أيضًا تسجيل الأحداث الشامل عبر syslog و SNMP، مما يتيح التكامل مع مكدسات مراقبة مراكز البيانات الحالية.

6. الملخص وتقييم القيمة

يقدم مفتاح 920-9B210-00FN-0D0 عرض قيمة مقنع للمؤسسات التي تبني أو توسع مجموعات HPC و AI المستندة إلى NDR. يوفر 64 منفذًا بسرعة 400 جيجابت/ثانية NDR مع زمن انتقال أقل من 100 نانو ثانية، وتفريغ SHARPv3، وقابلية إدارة على مستوى المؤسسات، وتوافقًا كاملاً مع النظام البيئي HDR الحالي - كل ذلك في منصة مدمجة 1U. تشمل نقاط القيمة الرئيسية:

• الأداء: انخفاض يصل إلى 75% في زمن انتقال الاتصال من جميع إلى جميع وانخفاض يصل إلى 40% في زمن انتقال all-reduce من خلال تفريغ SHARPv3 وعرض النطاق الترددي لـ NDR.
• كفاءة التكلفة: انخفاض تكلفة الشبكات لكل وحدة معالجة رسومات (GPU) مقارنة ببدائل HDR في عمليات النشر واسعة النطاق، مدفوعًا بالجذر الأعلى وتقليل عدد طبقات المفاتيح.
• بساطة التشغيل: تكامل عميق مع UFM للإدارة الموحدة، والتزويد الآلي، والمراقبة الاستباقية، وحل الأعطال السريع.
• حماية الاستثمار: توافق كامل مع كابلات HDR والبصريات ومكدسات البرامج الحالية، مما يتيح الترقيات المرحلية دون تعطيل أعباء العمل الإنتاجية.
• قابلية التوسع المستقبلية: دعم طوبولوجيات Clos المطوية من ثلاث طبقات و dragonfly+، مما يضمن قدرة الشبكة على التوسع إلى 8000+ عقدة مع نمو متطلبات الحوسبة.

بالنسبة للمؤسسات التي تقيّم 920-9B210-00FN-0D0 للبيع من خلال شركاء NVIDIA، نوصي بمراجعة ورقة بيانات 920-9B210-00FN-0D0 التفصيلية والتواصل مع مهندس حلول معتمد للتحقق من صحة التصميم لمتطلبات عبء العمل والمقياس الخاصة بك. مفتاح NVIDIA Mellanox 920-9B210-00FN-0D0 جاهز للإنتاج اليوم، ويوفر أساسًا للربط البيني عالي الأداء وقابل للتوسع للجيل القادم من ابتكارات الذكاء الاصطناعي و HPC.