Network Intrusion Detection Using ML&DL

Abstract

أصبح الكشف عن اختراقات الشبكات تحدياً بالغ الأهمية في مجال الأمن السيبراني الحديث، مدفوعاً بالتزايد المستمر في حجم الهجمات الإلكترونية وتطورها، والتي تستهدف البنى التحتية العامة والخاصة على حد سواء. تقترح هذه الأطروحة وتقيّم مجموعة من سبعة نماذج متعددة الفئات للكشف عن اختراقات الشبكات، مبنية على إطار تجريبي موحّد. تم تدريب هذه النماذج واختبارها على مجموعة بيانات مدمجة تجمع بين ثلاث قواعد بيانات متاحة للعموم — CICIDS2017 و CSE-CIC-IDS2018 ومجموعة بيانات اختراقات الشبكات المخصصة — بإجمالي يتجاوز 11.8 مليون سجل تدفق شبكي. يتضمن البحث ثلاثة فصول رئيسية: يرسي الفصل الأول الأسس النظرية لأمن الشبكات، ومبادئ الأمان الأساسية مثل CIA، وتصنيفات الهجمات الشائعة، وبنيات أنظمة الكشف عن الاختراقات، بما فيها أساليب الكشف المعتمدة على التوقيع والكشف القائم على الشذوذ. ويستعرض الفصل الثاني الأدبيات ذات الصلة، شاملاً مناهج التعلم الآلي الكلاسيكية، والدراسات القائمة على التعلم العميق، والمقارنات المرجعية على مجموعات البيانات القياسية كـ CICIDS2017. أما الفصل الثالث فيقدّم المنهجية المقترحة بالتفصيل الكامل، بما في ذلك جمع البيانات ودمجها، وخط أنابيب المعالجة المسبقة، واختيار الميزات مع الإبقاء على 60 ميزة مشتركة، واستراتيجيات موازنة الفئات، وبنيات النماذج، وإجراءات التدريب، والتقييم التجريبي الشامل عبر مجموعات بيانات ومقاييس متعددة. تعتمد فلسفة التصميم الهجين المقترحة على الفصل بين استخراج الميزات العميقة والتصنيف النهائي؛ إذ تتعلم شبكة عصبية تلافيفية CNN أو شبكة ذاكرة طويلة-قصيرة المدى LSTM تمثيلات مضغوطة ذات 128 بُعداً للميزات المدخلة، ثم تُمرّر متجهات المخرجات إما إلى مصنّف softmax، أو مجموعة XGBoost، أو مجموعة Random Forest. كما يُدرج نموذج XGBoost منفرد بوصفه خطاً أساسياً مرجعياً كلاسيكياً لعزل مساهمة استخراج الميزات العميقة. جميع النماذج السبعة — CNN Only، CNN+XGBoost، CNN+Random Forest، LSTM Only، LSTM+XGBoost، LSTM+Random Forest، XGBoost Only — دُرّبت في ظروف متطابقة باستخدام نفس خط أنابيب المعالجة المسبقة، وتقسيم البيانات، وبروتوكول التقييم، مما يتيح مقارنة مباشرة وغير متحيزة. حقق النموذج الهجين CNN+XGBoost أفضل توازن شامل بين جميع بنيات التعلم العميق، إذ بلغت دقته 93.96%، ومعامل ماتيوس للارتباط 0.9273، ومساحة تحت المنحنى 0.9956، ومعدل كشف 96.11% عبر سبع فئات من حركة المرور. على مستوى الفئات، تجاوزت خمس فئات من أصل سبع نسبة 98% في معدل الكشف: DDoS بنسبة 99.28%، PortScan بنسبة 99.95%، DoS بنسبة 98.58%، BruteForce بنسبة 98.39%، وBotnet بنسبة 98.40%، مع معدل كشف للفئة الحميدة بلغ 86.05% ومعدل إنذار كاذب لم يتجاوز 3.02%. وكانت نقطة الضعف الوحيدة المستمرة للنموذج هي فئة الاختراق، بمعدل كشف 72.41%، مما يعكس الصعوبة الجوهرية في تمييز هذا النوع الخفي من الهجمات عن حركة المرور الطبيعية. في سيناريوهات التحقق الخارجي متعددة الفئات المعقدة، أثبت CNN+XGBoost تفوقاً واضحاً، إذ حقق دقة 87.03% على مجموعة بيانات UNSW-NB15 ذات 10 فئات مقارنة بـ 83.90% لنموذج XGBoost منفرداً، ودقة 98.90% على مجموعة بيانات WSN-DS ذات 5 فئات مع أدنى معدل إنذار كاذب بلغ 0.27%. أما نموذج XGBoost Only، العامل مباشرة على الـ 60 ميزة المختارة دون أي عمود فقري للتعلم العميق، فقد حقق أعلى دقة إجمالية بين النماذج السبعة على مجموعة البيانات المدمجة بنسبة 95.29%، ومعامل ماتيوس 0.9435، ومساحة تحت المنحنى 0.9968، ومعدل كشف 97.48%. وكانت نتائج الفئات قوية في معظم الفئات: DDoS بنسبة 99.82%، DoS بنسبة 99.90%، PortScan بنسبة 99.96%، Botnet بنسبة 99.17%، وBruteForce بنسبة 98.72%، مع معدل كشف للفئة الحميدة بلغ 87.23%، وللاختراق 79.38%، وهو أعلى نتيجة لفئة الاختراق بين جميع النماذج. والجدير بالذكر أن XGBoost Only أظهر أداءً تنافسياً أو متفوقاً في مهام التصنيف البسيطة جيدة الفصل والتصنيف الثنائي، في حين أظهر فجوة أداء ملحوظة مقارنة بـ CNN+XGBoost في البيانات متعددة الفئات المعقدة كـ UNSW-NB15. عبر جميع التجارب، تفوقت البنيات القائمة على CNN باستمرار على تلك القائمة على LSTM في بيانات تدفق الشبكات الجدولية، وتفوقت النماذج الهجينة باستمرار على نظائرها المنفردة من التعلم العميق. تؤكد هذه النتائج أن اختيار النموذج الأمثل يجب أن يراعي تعقيد مجموعة البيانات، وعدد الفئات، وقابلية فصل الميزات — وأن الجمع بين تعلم التمثيل العميق وأساليب التصنيف التجميعي يوفر أساساً قوياً وقابلاً للتوسع لبناء أنظمة كشف عن الاختراقات دقيقة وقابلة للتعميم وذكية.detection has become a critical challenge in modern cybersecurity due to the increasing scale and sophistication of cyberattacks targeting both public and private infrastructures. Although classical machine learning methods provide acceptable performance on standardized benchmarks, they often struggle to generalize across heterogeneous data sources and fail to detect the complex patterns that distinguish sophisticated attacks from ordinary network traffic.

This thesis proposes and evaluates a family of seven multi-class network intrusion detection models built within a unified experimental framework. The models are trained and tested on a merged dataset combining three public benchmarks — CICIDS2017, CSE-CIC-IDS2018, and a dataset dedicated to network intrusions — totaling more than 11.8 million network flow records. The study is organized into three main chapters: Chapter 1 establishes the theoretical foundations of network security, key security principles (the CIA triad), common attack taxonomies, as well as IDS architectures including signature-based and anomaly-based detection methods. Chapter 2 reviews the related literature, covering classical machine learning approaches, deep learning-based studies, and comparisons on standard datasets such as CICIDS2017. Chapter 3 presents the proposed methodology in detail, including data collection and fusion, the preprocessing pipeline, feature selection (60 common features retained), class-balancing strategies, model architectures, training procedures, and a comprehensive experimental evaluation across multiple datasets and metrics.

The proposed hybrid design philosophy separates deep feature extraction from final classification: a convolutional neural network (CNN) or a long short-term memory network (LSTM) learns 128-dimensional compressed representations from the input features, whose output vectors are then passed to a softmax classifier, an XGBoost ensemble, or a Random Forest ensemble. A standalone XGBoost model is also included as a classical baseline in order to isolate the contribution of deep feature extraction.

The seven models — CNN Only, CNN+XGBoost, CNN+Random Forest, LSTM Only, LSTM+XGBoost, LSTM+Random Forest, and XGBoost Only — were trained under identical conditions, using the same preprocessing pipeline, the same data segmentation, and the same evaluation protocol, enabling a direct and objective comparison. The hybrid CNN+XGBoost model achieved the best overall balance among all deep learning architectures, with an accuracy of 93.96%, an MCC of 0.9273, an AUC of 0.9956, and a detection rate of 96.11% across seven traffic classes. At the class level, five out of seven classes exceeded a 98% detection rate (DDoS: 99.28%, PortScan: 99.95%, DoS: 98.58%, BruteForce: 98.39%, Botnet: 98.40%), with a Benign detection rate of 86.05% and a false alarm rate of only 3.02%. The model’s only persistent weakness concerns the Infiltration class (DR: 72.41%), reflecting the inherent difficulty of distinguishing this stealthy type of attack from normal traffic. In complex external multi-class validation scenarios, CNN+XGBoost demonstrated clear superiority — reaching 87.03% accuracy on the UNSW-NB15 dataset (10 classes) compared with 83.90% for XGBoost alone, and 98.90% accuracy on WSN-DS (5 classes), with the lowest false alarm rate (0.27%).

The XGBoost Only model, operating directly on the 60 selected features without any deep learning backbone, achieved the highest overall accuracy among the seven models on the merged dataset, with 95.29%, an MCC of 0.9435, an AUC of 0.9968, and a detection rate of 97.48%. Class-level results were excellent in most categories (DDoS: 99.82%, DoS: 99.90%, PortScan: 99.96%, Botnet: 99.17%, BruteForce: 98.72%), with a Benign detection rate of 87.23% and an Infiltration detection rate of 79.38% — the best Infiltration result among all models. XGBoost Only demonstrated competitive or even superior performance in simple, well-separated classification tasks as well as in binary classification scenarios, while showing a significant performance gap compared with CNN+XGBoost in complex multi-class contexts such as UNSW-NB15.

Across all experiments, CNN-based architectures consistently outperformed LSTM-based architectures on tabular network flow data, and hybrid models consistently outperformed their standalone deep learning counterparts. These results confirm that the optimal choice of model must take into account dataset complexity, the number of classes, and feature separability — and that combining deep representation learning with ensemble classification methods provides a solid and scalable foundation for building accurate, generalizable, and intelligent intrusion detection systems.