A Multimodal Deep Learning Model for Classifying Social Media Content According to Islamic Sharia Principles

Abstract

Facebook Reels are short multimodal videos whose meaning is formed through visual and audio content. From an Islamic perspective, some reels may contain elements that conflict with Sharia-based values or negatively affect the recipient religiously or behaviorally. This motivates the need for automatic reel classification using culturally aware criteria.

This thesis designs and develops a multimodal deep learning system for classifying Facebook Reels from an Islamic Sharia-based perspective. The dataset was collected from Facebook using automated link extraction and browsing-based collection strategies. The collected reels were then manually annotated according to three categories: Good, Acceptable, and Bad. These labels were used during model development, while the final system output was organized into compliant and non-compliant content.

The proposed approach uses pretrained audio and visual encoders to extract separate representations from each reel. Audio embeddings and visual embeddings are then organized, aligned with their labels, and used to train classification models. Multimodal fusion is applied to combine the two modalities, and knowledge distillation is adopted to transfer knowledge from larger teacher models to lighter student models for more efficient deployment.

This work contributes to culturally grounded artificial intelligence by applying Sharia-based annotation criteria to multimodal short-video classification and by building a framework that supports the automatic detection of non-compliant reel contentتعد Facebook Reels مقاطع فيديو قصيرة متعددة الوسائط، يتشكل معناها من خلال المحتوى المرئي والسمعي. ومن منظور إسلامي، قد تحتوي بعض المقاطع على عناصر تتعارض مع القيم المستندة إلى الشريعة، أو تؤثر سلبا في المتلقي من الناحية الدينية أو السلوكية. وهذا يبرز الحاجة إلى التصنيف الآلي لمقاطع Reels باستخدام معايير واعية بالسياق الثقافي

تصمم هذه المذكرة وتطور نظام تعلم عميق متعدد الوسائط لتصنيف مقاطع Facebook Reels من منظور قائم على الشريعة الإسلامية. تم جمع مجموعة البيانات من Facebook باستخدام استراتيجيات الاستخراج الآلي للروابط والجمع القائم على التصفح. بعد ذلك، تم وسم المقاطع المجمعة يدويا وفق ثلاث فئات: جيد، مقبول، وسيئ. استخدمت هذه الوسوم أثناء تطوير النموذج، بينما نظم خرج النظام النهائي إلى محتوى متوافق ومحتوى غير متوافق.

تعتمد المقاربة المقترحة على مشفرات سمعية وبصرية مسبقة التدريب لاستخراج تمثيلات منفصلة من كل مقطع. ثم يتم تنظيم التمثيلات السمعية والبصرية ومواءمتها مع وسومها، واستعمالها لتدريب نماذج التصنيف. كما يتم تطبيق الدمج متعدد الوسائط للجمع بين النمطين، واعتماد تقطير المعرفة لنقل المعرفة من نماذج معلم أكبر إلى نماذج طالب أخف بهدف تحقيق نشر أكثر كفاءة.

يسهم هذا العمل في الذكاء الاصطناعي المرتكز على السياق الثقافي من خلال تطبيق معايير وسم قائمة على الشريعة في تصنيف مقاطع الفيديو القصيرة متعددة الوسائط، وبناء إطار يدعم الكشف الآلي عن محتوى Reels غير المتوافق.