Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT محول الخادم الحل التقني

الحل الفني لمحول خادم Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT: النقل منخفض زمن الوصول RDMA/RoCE وتحسين إنتاجية الخادم - مستند تقني للتصميم

1. تحليل خلفية المشروع ومتطلباته

تشهد مراكز البيانات الحديثة تحولًا أساسيًا من البنى "المرتكزة على الحوسبة" إلى "المرتكزة على البيانات"، مدفوعة بالنمو الهائل لأعباء عمل الذكاء الاصطناعي/التعلم الآلي، وأنظمة التخزين الموزعة، ومنصات التحليلات في الوقت الفعلي. في هذا السياق، لم يعد محول الشبكة مكون اتصال سلبيًا ولكنه محددًا حاسمًا للأداء العام للتطبيق. أصبحت الشبكات التقليدية المستندة إلى TCP/IP، مع قيود تجاوز kernel وعبء حزمة البروتوكول، بمثابة عنق الزجاجة الأساسي - حيث تستهلك ما يصل إلى 30% من دورات وحدة المعالجة المركزية بينما تفشل في توفير زمن الوصول على مستوى الميكرو ثانية وإنتاجية معدل الخط الذي تتطلبه أحمال عمل الجيل التالي.

وعلى وجه التحديد، تتطلب ثلاثة تحديات مترابطة استجابة معمارية. أولاً، تتطلب أنظمة التخزين التي تستفيد من تقنية NVMe over Fabrics (NVMe-oF) زمن وصول يصل إلى أقل من 100 ميكروثانية لاستغلال وسائط الفلاش الحديثة بشكل كامل؛ أي زمن الوصول الناجم عن الشبكة يقوض أداء التخزين بشكل مباشر. ثانيًا، تعتمد أطر تدريب الذكاء الاصطناعي الموزعة مثل PyTorch وTensorFlow على عمليات التخفيض الشامل المتكررة عبر مجموعات وحدة معالجة الرسومات، حيث يحدد إنتاجية الشبكة والارتعاش بشكل مباشر وقت إكمال المهمة. ثالثًا، توفر المحاكاة الافتراضية والحاويات حملًا إضافيًا للتغليف، مما يتطلب تفريغًا ذكيًا للأجهزة للحفاظ على الأداء على نطاق واسع. الميلانوكس (نفيديا ميلانوكس) MCX631102AN-ADATيعالج محول الخادم هذه المتطلبات مباشرة، مما يوفر أساسًا مصممًا لهذا الغرض لشبكات مراكز البيانات عالية الأداء ومنخفضة زمن الوصول.

2. التصميم الشامل لبنية الشبكة والنظام

يعتمد الحل المقترح على بنية شبكية ذات مستويين مصممة لتعظيم قدرات الشبكةبطاقة محول إيثرنت MCX631102AN-ADAT. في طبقة الأوراق، توفر محولات 25 جيجابت SFP28 اتصال ToR (أعلى الحامل)، حيث يدعم كل محول ورقة ما يصل إلى 48 منفذًا. تتكون طبقة العمود الفقري من محولات 100 جيجابت عالية السعة، مما يوفر اتصالاً غير معوق من أي إلى أي شخص. تم تحسين هذه البنية لنقل RoCE v2 (RDMA عبر شبكة Ethernet المتقاربة الإصدار 2)، باستخدام آليات التحكم في الازدحام الأصلية للمحول وقدرات PFC (التحكم في الأولوية في التدفق) للحفاظ على ظروف الشبكة بدون فقدان.

تم تجهيز كل عقدة حسابية وتخزينية بـMCX631102AN-ADAT ConnectX-6 Lx ثنائي المنفذ 25 جيجابت SFP28محول، مع منافذ تم تكوينها في الوضع النشط النشط لتوفير كل من التوفر العالي وعرض النطاق الترددي المجمع 50 جيجابت. يتعامل الخادم المضيف مع المحول عبر PCIe 4.0 x8، مما يضمن عرض نطاق ترددي كافٍ للحافلة للحفاظ على حركة المرور بمعدل الخط الكامل. من منظور برمجي، تتضمن البنية مجموعة برامج التشغيل OFED (OpenFabrics Enterprise Distribution) من NVIDIA، مما يوفر دعمًا محسنًا لـ RoCE عبر أنظمة التشغيل الرئيسية. بالنسبة لعقد التخزين، تدمج البنية أهداف NVMe-oF التي يمكن الوصول إليها مباشرة عبر RoCE، مما يؤدي إلى إزالة طبقة TCP/IP بالكامل من مسار البيانات.

3. الدور والخصائص الرئيسية لـ MCX631102AN-ADAT في الحل

النفيديا ميلانوكس MCX631102AN-ADATبمثابة واجهة الشبكة الأساسية لكل من مجالات الحوسبة والتخزين، حيث تلعب أربعة أدوار مهمة ضمن البنية الشاملة. أولاً، يعمل كمحرك مستوى البيانات الأساسي، حيث يستفيد من محرك التوجيه المسرع للأجهزة لتوفير إنتاجية بمعدل خط يبلغ 25 جيجابت لكل منفذ عبر جميع أحجام الحزم - وهي قدرة تم التحقق من صحتها بواسطةمواصفات MCX631102AN-ADAT، والتي توضح زمن استجابة تطبيق إلى تطبيق أقل من 1 ميكروثانية عند إقرانها بالمحولات التي تدعم RoCE.

ثانيًا، يعمل المحول كنقطة نهاية لنقل RDMA، حيث يقوم بتفريغ حزمة بروتوكول RDMA بالكامل - بما في ذلك تسجيل الذاكرة وترجمة العناوين ومعالجة الإكمال - من وحدة المعالجة المركزية المضيفة. يؤثر إلغاء التحميل هذا بشكل خاص على أحمال عمل التخزين، مما يقلل من استخدام وحدة المعالجة المركزية لمبادري NVMe-oF من حوالي 18% إلى أقل من 3% مقارنة بتطبيقات البرامج فقط. ثالثًا، يوفر MCX631102AN-ADAT إلغاء تحميل التراكب القائم على الأجهزة لـ VXLAN وNVGRE، مما يضمن أن تغليف الشبكات الافتراضية لا يؤدي إلى انخفاض الأداء - وهي ميزة مهمة لعمليات النشر السحابية الأصلية. رابعًا، يدعم المحول SR-IOV (المحاكاة الافتراضية للإدخال/الإخراج ذو الجذر الواحد)، مما يتيح ما يصل إلى 256 وظيفة افتراضية لكل منفذ من أجل عزل فعال للمستأجرين المتعددين دون المساس بالإنتاجية. الحل بطاقة محول إيثرنت MCX631102AN-ADATيتكامل بسلاسة مع تقنية GPUDirect Storage من NVIDIA، مما يتيح نقل البيانات مباشرة بين ذاكرة GPU وأجهزة تخزين NVMe البعيدة عبر الشبكة.

يلخص الجدول التالي المواصفات الفنية الرئيسية ذات الصلة ببنية الحل:

4. توصيات النشر والقياس مع الهيكل النموذجي

بالنسبة لعمليات النشر في المجالات الجديدة، نوصي باتباع نهج توسيع ثلاثي المستويات. في الطبقة الأساسية (على نطاق صغير: 16-32 عقدة)، يمكن لمجموعة المحولات ذات الورقة الواحدة استضافة جميع عقد الحوسبة والتخزين، مع تجهيز كل عقدة بـ MCX631102AN-ADAT وكلا المنفذين متصلين بنفس المحول الطرفي لتجميع الارتباط. في الطبقة المتوسطة (64-128 عقدة)، يجب أن تتبنى البنية تصميمًا من طبقتين للعمود الفقري، مع توصيل المنافذ المزدوجة لكل عقدة بمفاتيح أوراق مختلفة لتوفير الأداء والمرونة. على مستوى المؤسسة (أكثر من 256 عقدة)، يوصي الحل بنشر بنية ثلاثية المستويات مع تجزئة نسيج RoCE مخصصة، وعزل حركة التخزين عن حركة مرور الحوسبة في طبقة الشبكة، والاستفادة منمتوافق مع MCX631102AN-ADATالطبيعة مع كل من محولات NVIDIA Spectrum ومحولات 25GbE التابعة لجهات خارجية.

بالنسبة لبيئات الحقول البنية، يوفر المحول توافقًا سلسًا مع الإصدارات السابقة مع بصريات وكابلات 10 جيجابت SFP+، مما يسمح للمؤسسات بالترحيل بشكل متزايد. الورقة بيانات MCX631102AN-ADATيوفر مصفوفات توافق تفصيلية لمنصات الخوادم الرئيسية، بما في ذلك عائلات Dell PowerEdge وHPE ProLiant وSupermicro SuperServer. يجب أن يتم تنسيق نشر المحول مع تحديثات البرامج الثابتة لضمان تشغيل جميع العقد لنفس الحد الأدنى من إصدار البرنامج الثابت لسلوك RoCE المتسق. نوصي أيضًا باستخدام استمرارية التكوين المستندة إلى EEPROM للمحول للحفاظ على الإعدادات عبر عمليات إعادة تشغيل النظام، مما يقلل من الحمل التشغيلي أثناء نوافذ الصيانة.

5. العمليات والمراقبة واستكشاف الأخطاء وإصلاحها والتحسين

الMCX631102AN-ADATيوفر إمكانات شاملة للقياس عن بعد والإدارة من خلال أدوات MLNX_OFED من NVIDIA. لأغراض المراقبة، نوصي بنشر الممارسات التشغيلية التالية. أولاً، قم بتمكين عدادات التدفق القائمة على الأجهزة لمراقبة استخدام كل قائمة انتظار وتحديد نقاط الاتصال - يمكن الوصول إلى هذه العدادات عبرmlx5_coreوحدة kernel ويمكن دمجها مع Prometheus أو حلول TSDB الأخرى. ثانيًا، استخدم مراقبة PFC (التحكم في أولوية التدفق) الخاصة بالمحول لاكتشاف أحداث ازدحام الشبكة ومعالجتها قبل أن تؤثر على أداء التطبيق. ثالثًا، قم بتنفيذ التنبيهات المستندة إلى العتبة لدرجة حرارة المحول وحالة رابط PCIe لتحديد تدهور الأجهزة بشكل استباقي.

لاستكشاف الأخطاء وإصلاحها، توفر التشخيصات المتقدمة للمحول - بما في ذلك اختبارات الاسترجاع لكل منفذ، وسجلات تدريب الارتباط، وإحصائيات تكامل المقاطعة - رؤية تفصيلية لمشكلات الأداء. نوصي بإنشاء خط أساس للتشغيل العادي أثناء النشر الأولي، والتقاط المقاييس الرئيسية مثل متوسط ​​زمن الوصول، والإنتاجية، واستخدام وحدة المعالجة المركزية، لتكون بمثابة مرجع للمقارنات المستقبلية. عند تقييمسعر MCX631102AN-ADATللملكية، يجب على المؤسسات مراعاة التوفيرات التشغيلية الناتجة عن انخفاض استهلاك وحدة المعالجة المركزية وتبسيط عمليات سير العمل لاستكشاف الأخطاء وإصلاحها.

استراتيجيات التحسين لبطاقة محول إيثرنت MCX631102AN-ADATوينبغي التركيز على ثلاثة مجالات. في تكوين المضيف، قم بضبط الحد الأقصى لحجم حمولة PCIe إلى 512 بايت وقم بتمكين إدارة المقاطعة لموازنة زمن الاستجابة وكفاءة وحدة المعالجة المركزية. في الشبكة، قم بتكوين أولويات PFC بشكل متسق عبر جميع المحولات والمحولات - نوصي بتخصيص الأولوية 3 لحركة مرور RoCE والأولوية 0 لحركة مرور الإدارة. في طبقة التطبيق، قم بمحاذاة عمق قائمة انتظار RDMA مع خصائص حمل العمل: تستفيد قوائم الانتظار الأعمق من أعباء عمل التخزين ذات الإنتاجية المكثفة، بينما تعمل قوائم الانتظار الأقل عمقًا على تقليل زمن الوصول لمعالجة المعاملات الحساسة. التفصيليةمواصفات MCX631102AN-ADATتوفير إرشادات محددة لضبط هذه المعلمات عبر أنظمة تشغيل مختلفة.

6. ملخص وتقييم القيمة

الميلانوكس (نفيديا ميلانوكس) MCX631102AN-ADATيوفر حلاً معماريًا يعالج التحديات الأساسية لشبكات مراكز البيانات الحديثة: توفير زمن استجابة على نطاق ميكروثانية، ونقل RDMA المسرع بواسطة الأجهزة، وإنتاجية متسقة بسرعة 25 جيجابت - كل ذلك مع تقليل حمل وحدة المعالجة المركزية المضيفة. من خلال العمل كواجهة شبكة موحدة لأحمال عمل الحوسبة والتخزين والذكاء الاصطناعي، يعمل المحول على تبسيط البنية التحتية مع تحسين الأداء. الحل بطاقة محول إيثرنت MCX631102AN-ADATيقلل من استهلاك وحدة المعالجة المركزية المرتبطة بالشبكة بنسبة 80% تقريبًا، ويحسن زمن وصول الوصول إلى التخزين بأكثر من 80%، ويوفر أداء يمكن التنبؤ به في ظل ظروف تحميل مختلفة من خلال إدارة الازدحام المستندة إلى الأجهزة.

من منظور قيمة الأعمال، يمكّن المحول المؤسسات من تحقيق أقصى قدر من الاستثمارات الحالية في محولات 25 جيجابت إيثرنت مع تقديم الأداء الذي لم يكن من الممكن تحقيقه سابقًا إلا من خلال حلول 40 جيجابت أو 100 جيجابت. الMCX631102AN-ADAT للبيعيُظهر التقييم باستمرار عائد استثمار إيجابيًا في غضون 12 إلى 18 شهرًا، مدفوعًا بانخفاض متطلبات عدد الخوادم (بسبب ارتفاع كفاءة كل عقدة) وانخفاض النفقات التشغيلية. بالنسبة للمؤسسات التي تقوم ببناء أو تحديث شبكات مراكز البيانات، لا يمثل MCX631102AN-ADAT ترقية تدريجية فحسب، بل يمثل تحسينًا أساسيًا في كفاءة أساس الشبكات.