تحليل أنظمة كشف الشُّذوذ في البيانات وتطويرها باستخدام التَعَلُّم العميق

اسم الباحث: المُهندس: علي لؤي ياسين

عنوان البحث:تحليل أنظمة كشف الشُّذوذ في البيانات وتطويرها باستخدام التَعَلُّم العميق

عنوان البحث باللغة الانكليزية :Analysis of Data Anomalies’ Detection Systems and Improving them Using Deep Learning

اسم المشرف :  أ.د كمال السلوم /مشرف علمي/-  د. وسيم رمضان /مشرف مشارك/

العام:2022

القسم:هندسة البرمجيات ونظم المعلومات

الملخص:

يَتَأَثَّر تَحْلِيل البيانات في المجالات التطبيقية كافةً بالبيانات الشَّاذَّة التي يُمكن أَنْ تُؤشّر على نحوٍ أو آخر إلى شيء خارج نطاق البيانات الطبيعية. يُوجَد إسقاط كبير لمفهوم اكتشاف الشُّذُوذ ضِمْنَ تطبيقات العالم الحقيقي مثل اكتشاف العمليات الاحتيالية والعيوب الصناعية والاختراقات الشَّبَكِيَّة؛ وهذا ما يدعو إلى الحاجة إلى الاهتمام على نحوٍ أو آخر بالكشف عن تلك الحالات.

تَحْتَاج عَمَلِيَّة الكشف عن الحالات الشَّاذَّة إلى أساليب وأَنْظِمَة قَادِرَة عَلَى التَّعَامُل مَعَ التَّحَدِّيَاتِ الَّتِي تَفْرِضُهَا طبيعة المسألة وبخاصّة الْمُتَمَثِّلَة فِي الشُّحِّ الْكَبِيرِ بِعَدَدِ الْحَالَاتِ الشَّاذَّة، وَتَكَيَّف السُّلُوكِ الشَّاذّ مَعَ السُّلُوكِ الطَّبِيعِيّ فِي بَعْضِ الْأَحْيَان، وَالْكَثِير مِنَ الْمُعَوِّقَات الْأُخْرَى الَّتِي تَجْعَل عَمَلِيَّةَ الْكَشْف عَمَلِيَّةً مُعَقَّدَةً، عَلَى عَكْسِ تِلْكَ الْمَجَالَاتِ الَّتِي تكون فِيهَا الْأَنْمَاط مُنْتَظِمَةً وَوَاضِحَةً.

يُوجَد الْعَدِيد مِنْ أَنْظِمَةِ كَشْف الشُّذُوذ الْمَعْمُولِ بِهَا حَالِيَّاً، إِلَّا أَنَّ الْأَنْظِمَة الْقَائِمَة عَلَى طَرَائِقِ التَّعَلُّمِ الْعَمِيق هِي الْأَكْثَر فَعَالِيَة لَما تَلْعَبه مِنْ دَوْرٍ مُهِمّ فِي التَّخْفِيفِ مِنْ آثَارِ التَّحَدِّيَاتِ الْمُرْتَبِطَةِ بِعَمَلِيَّةِ الْكَشْف، وَأَهَمُّهَا كَشْف الشُّذُوذ فِي الْبَيَانَاتِ عَالِيةِ الْأَبْعَاد. وَعَلَى الرَّغْم مِنْ ذَلِكَ، تُوَاجِه هَذِهِ الْأَنْظِمَة مَجْمُوعَةً مِنَ الصُّعُوبَاتِ الَّتِي تَحُدُّ مِنْهَا، مِثْل دِرَاسَة الْمِيْزَات الْأَكْثَر أَهَمِّيَّةً فِي اِكْتِشَافِ الشُّذُوذ، وَاِخْتِيَار قِيَم البارامترات الْفَائِقَة الْأفْضَل؛ إضَافَةً إِلَى دِرَاسَةِ تَوْزِيعِ الْبَيَانَات وَتَحْدِيد عَتَبَة التصنيف (الْكَشْف) لِفَصْلِ الْبَيَانَاتِ الطَّبِيعِيَّةِ عَنِ الْبَيَانَاتِ الشَّاذَّة على نحوٍ دينَاميكِي، وَأَخِيراً وَلَيْسَ آخراً تَنَوَّعُ الْحَالَات الشَّاذَّة.

تَتَلَخَّصُ الْمُسَاهَمَةُ الْمُقَدَّمَةُ ضِمْنَ هَذِه الدِّرَاسَة فِي ثَلاثة اِتِّجَاهَاتٍ: الاتجاه الأول، تَحْلِيل أَنْظِمَة كَشْف الشُّذُوذ بِهَدَفِ دِرَاسَة كَفَاءة هَذِه الْأَنْظِمَة مِنْ حَيْث زَمَنُ التَّدْرِيب وَنِسْبَةُ الْكَشْف. تَوَصَّلَت الدِّرَاسَة إِلَى أَنَّ أَفَضْل أَدَاء لِأَنْظِمَةِ كَشْف الشُّذُوذ يكون عِنْدَ اِخْتِيَار الْمَيْزَات الْأَكْثَر أَهَمِّيَّةً مَتْبُوعاً بِضَبْطِ البارامترات الْفَائِقَة. فَقَدْ سَاهَمَ اِسْتِخْدَام التَّرْتِيب الْمُحَدَّد عَلَى عَدَدٍ مِنَ الْأَنْظِمَة فِي تَقْليصِ كُلٍّ مِنَ الزَّمَنِ الْمُسْتَغْرَقِ لبنَائِهَا بِنِسَبٍ تَتَرَاوَحُ بَيْنَ 51.5% و60.2%، ومعدل الإيجابيات الخاطئة (FPR) بين 1% و35%، بالإضافة إلى زيادة في كشف الحالات الشَّاذَّةِ بَيْنَ 1% و6% وذلك بالنظر إلى مساحة السطح تحت منحني الدقة والاسترجاع ((AUCPR، كما أنّ هناك تَحسِين في مُعْظَمِ قِيَمِ مقاييس الأداء.

الاتجاه الثاني، بِنَاءُ نِظَامٍ مُتَكَامِلٍ لِكَشَف الشُّذُوذ فِي الْبَيَانَاتِ قَادِرٍ عَلَى تَجَاوُزِ أَهُمِ التَّحَدِّيَات الَّتِي تَوَاجه أَنْظِمَة الْكَشْف الْحَالِيَّة. اِقْتَرَحَتِ الدَّرَّاسَة نَظَّام كَشْفِ الشُّذُوذِ AEDT(M)-ADS وهو اختصار لـ: Auto-Encoder with a Dynamic Threshold (LSTM)- Anomaly Detection System. يَعْتَمِد نِظَام كَشْف الشُّذُوذ الْمُقْتَرَح عَلَى شَبَكَة الترميز الْآلِي مَعَ عَتَبَة دينَاميكِيَّة (AEDT) الْمُقْتَرَحَةِ ضِمْنَ الدِّرَاسَة، وَهِي نُسْخَةٌ مُعَدَّلَةٌ مِنْ شَبَكَةِ الترميز الْآلِي التَّقليدِيَّة بِإضَافَةِ مَرَاحِلَ تُعَزّز مِنْ آلِيَّةِ الْاِكْتِشَاف وَتُحَدّدُ عَتَبَة التصنيف المُتَغَيِّرَة بِمُرُورِ الْوَقْتِ على نحوٍ دينَاميكِي. كَمَا أَنَّ الْهَدَف مِنْ إِمْكَانِيَّةِ إضَافَةِ وحدة الذَّاكِرَة قصيرة طَوِيلَة الْمُدَى (LSTM) هُوَ اِلْتِقَاط التَّبعيَات الزَّمَنِيَّة لِتَسَلْسُلِ الشُّذُوذ خِلَالَ فَتْرَةٍ زَمَنِيَّةٍ مُعَيَّنَةٍ، وَاِكْتِشَافُهَا قَبْلَ حُدوثِهَا بِوَقْتٍ مُنَاسِبٍ.

يَتَمَتَّع النِّظَام الْمُقْتَرَح بِقُدْرَتِهِ عَلَى اِكْتِشَافِ الْمِيْزَات غَيْر الْمُرْتَبِطَة خَطّياً، وَتَحْدِيدِ عَتَبَة التصنيف على نحوٍ دينَاميكِي، وَمُعَالَجَة أَنْوَاع الشُّذُوذ الْمُخْتَلِفَة. كَمَا اِسْتَطَاعَ النِّظَام عِنْدَ إِسْقَاطِهِ عَلَى تَطْبِيقَاتٍ حَقِيقِيَّةٍ التَّفَوُّقَ عَلَى أَنْظِمَةِ كَشْف الشُّذُوذ الْأُخْرَى. فَقَدِ اِرْتَفَعَتْ نِسْبَةُ الْكَشْف عَنِ الشُّذُوذ (الْعَمَلِيَاتِ الْاِحْتِيَالِيَّة) ضِمْنَ المُنَاقَلَات المَالِيَّة الأوروبية بِمِقْدَار 2% إلى 36% مُقَارَنَةً بِبَاقِي الْأَنْظِمَة وَذَلِكَ بِالنَّظَر إِلَى مِقْيَاس الاِسْتِرْجَاع (Recall). كَذَلِكَ اِرْتَفَعَتْ نِسْبَة الْكَشْف عَنِ الْحَالَاتِ الشَّاذَّة (كَسر الْوَرَقِ) فِي مُعَامِل اللُّبّ وَالْوَرَق قَبْل حُدوثِهَا بِوَقْتٍ مُنَاسِبٍ بِمِقْدَار 27% على الأقل. أَضِفْ إِلَى ذَلِكَ أَنَّ جَمِيعَ الْأَنْظِمَة الْحَالِيَّة تَسْتَخْدِم عَتَبَة تَصْنِيف ثَابتة، عَلَى عَكْسِ النِّظَام الْمُقْتَرَح الَّذِي يَسْتَخْدِم عَتَبَة دينَاميكِيَّة. مِمَّا يُؤَكِّدُ عَلَى تَفَوُّقِ النِّظَام الْمُقْتَرَح عَلَى بَاقِي الْأَنْظِمَةِ الْأُخْرَى.

الاتجاه الثالث، تَطْوِيرُ وَاجِهَاتٍ تَخَاطُبِيَّةٍ لِلنِّظَام الْمُقْتَرَح لِبَيَانِ إِمْكَانِيَّةِ اِسْتِثْمَارِهِ مُبَاشرَةً فِي أَيِّ تَطْبِيقٍ مِنْ تَطْبِيقَاتِ الْعَالَمِ الْحَقِيقِيِّ بَعْدَ مُلَاءَمَتِهِ لِيُنَاسِب الْبَيَانَاتِ الْمُدْخَلَةِ.

 الكلمات المفتاحية: البيانات الشاذة، كشف الشذوذ، أنظمة كشف الشذوذ، التعلم العميق، الميزات، البارامترات الفائقة، عتبة التصنيف، شبكة الترميز الآلي مع عتبة ديناميكية، الذاكرة قصيرة طويلة المدى.

التحميل