محاكاة إطار المقابلة والاختزال

اسم الباحث:المهندس عامر احمد دوار

المشرف : أ.د.  محمد النايف الحاج يونس –  د. سهيل الحمود

العنوان : محاكاة إطار المقابلة والاختزال

العنوان باللغة الانكليزية :

Simulating Map-Reduce Framework

العام :2021

القسم : هندسة الشبكات والنظم الحاسوبية

الملخص :

يعد إطار المقابلة والاختزال (Map-Reduce) نموذج برمجي تفرعي يستخدم لمعالجة مجموعات بيانية ضخمة. تم تأسيس إطار المقابلة والاختزال وتحقيقه مفتوح المصدر Hadoop ليكونا من أكثر أدوات تحليل البيانات استخداماً. إن هذا النموذج سهل الاستخدام ويعد بتقليل الوقت اللازم لمعالجة البيانات كما يمكن تشغيله على العتاد الصلب المتوفر. إن تجهيز عناقيد مقابلة واختزال ضخمة يستلزم الحذر في ضبط العديد من معاملات زمن التشغيل الضرورية للوصول إلى أداء فعال. إن العدد الكبير في متغيرات الإعداد الخاصة بـ  Hadoopتشكل عدداً من التحديات للمستخدم، لأنه يصبح من الصعب على مستخدم Hadoop تحديد المتغيرات التي تساعده في الوصول إلى الأداء الجيد. كما أنه من الصعب إن لم يكن من المستحيل إعداد بيئة Hadoop فيزيائية من أجل اختبار قدرة تطبيقات Hadoop على التوسعية التي يمكن أن تصل إلى المئات وربما الآلاف من العقد. إن هذه التحديات تجعل من محاكيات إطار المقابلة والاختزال أمراً ضرورياً، بحيث يمكن استخدام المحاكيات من أجل ضبط أداء عناقيد المقابلة والاختزال، كما تساعد المحاكيات في دراسة سلوك تطبيقات المقابلة والاختزال. يقدم هذا البحث دراسة مرجعية وافية عن أشهر محاكيات إطار المقابلة والاختزال، تم في هذا البحث تقديم المحاكي HSG(Hadoop SimGrid) والذي صممناه بحيث يساعد على ضبط إعدادات  Hadoopمن أجل الوصول إلى الأداء الأمثل. اختبرنا دقة النتائج وقدرة المحاكي على التوسع ومحاكاة بنى عنقودية متنوعة حيث استطاع هذا المحاكي محاكات عناقيد حاسوبية مؤلفة من عدة آلاف من العقد وأعمال يصل حجمها إلى 20TB وضمن زمن معقول. يتميز هذا المحاكي بسهولة الاستخدام من حيث ضبط الاعدادات من خلال ملفات من نوع JSON، كما يدعم عمليات القراءة والكتابة والتكرار على HDFS  بشكل مفصل وهذا ما لم يتم لحظه بهذا التفصيل في باقي المحاكيات.

الكلمات المفتاحية: النظم الموزعة، الحوسبة السحابية، محاكاة الشبكات الحاسوبية، البيانات الضخمة.

تحميل البحث