كلية التربية للعلوم الصرفة تناقش رسالة الماجستير (Automatic Lip Reading Method of Recognize Digits)

طريقة قراءة الشفاه تلقائيا للتعرف على الارقام

ناقشت كلية التربية للعلوم الصرفة بجامعة ذي قار رسالة الماجستير الموسومة ( Automatic Lip Reading Method of Recognize Digits ) للطالبة (كواكب سعدون نايف) قسم علوم الحاسبات تحت اشراف الاستاذ الدكتور كاظم مهدي هاشم

 

قراءة الشفاه هي طريقة بصرية للتواصل مع الناس من خلال حركة الشفاه، وخاصة ضعاف السمع والأشخاص في البيئات الصاخبة مثل الملاعب والمطارات. قراءة الشفاه ليست عملية سهلة لأنها تواجه العديد من الصعوبات، خاصة عند تصوير فيديو لشخص ما، بما في ذلك الاضاءة،والدوران،ووضعية الشخص، وألوان البشرة المختلفة…إلخ.

الهدف الرئيسي للأطروحة هو تصميم وتنفيذ نظام فعال للتعرف على الأرقام العشرية عن طريق حركة الشفاه بأستخدام الشبكة العصبية DenseNet201convolution. يتكون النظام المقترح من ثلاث مراحل:

المرحلة الاولى هي معالجة مسبقة بأستخدام خوارزمية Viola-Jines والتى تتضمن الكشف عن منطقة الوجة والفم ثم اقتصاص منطقة الفم وتخزينها في مجلد مؤقت.

المرحلة الثانية هي الشبكة العصبية التلافيفية، وإضافة إطارات الفم إلى الشبكات العصبية DenseNet201 (ResNet50,GooglNet) واستخراج الميزات في الطبقة التلافيفية، وتقليل الحجم في طبقة التجميع حتى يتم اكتشاف جميع الميزات .

المرحلة الثالثة هي مرحلة التصنيف، حيث تتم مطابقة بيانات التدريب وبيانات الاختبار في طبقة متصلة بالكامل ثم يقوم المصنف softmax بتصنيف الأرقام العشرية ويتم اختبار النظام في المقترح باستخدام مجموعة بيانات عامة تتكون من 35 مقطع فيديو ل7 أشخاص 5 ذكور و2 إناث (كل شخص لديه 5 مقاطع فيديو لأرقام يتحدثون بها (9……,0,1,2) بشكل عشوائي بأستخدام 80% عينات تدريب و20% عينات اختبار وكان عدد إطارات الفم 23400 إطار وحصلنا على معدل 90% ولكن عند استخدام التدريب 70% عينات و 30% عينات اختبار في النطام المقترح تم الحصول على معدل دقة 85% وعند استخدام 60% عينات تدريب و 40% عينات اختبار تم الحصول على معدل دقة 83% لذلك نلاحظ أن اداء نظام التعرف على الأرقام العشرية بحركة الشفاه يتأثر بعدد عينات التدريب. وتجدر الاشارة إلى أننا تستخدمنا شبكات عصبية أخرى ResNet50 و GooglNet وكانت دقتها 87% و 86% على التوالي. مع نفس العدد من الاطارات وكانت 80% عينات تدريب و20% عينات اختبار.

 

حضر جانبا منها السيد عميد الكلية الاستاذ الدكتور عماد عبدالرزاق سلمان المحترم والسادة معاوني العميد وعدد من تدريسيي الكلية.

 

حيث تألفت لجنة المناقشة من الأساتذه الافاضل.

 

١_أ.د. عقيل محسن حمد /رئيسا/جامعة ذي قار

٢_أ.م.د. رائد مجيد مطشر /عضوا/جامعة سومر

٣_أ.م.م. محمد مراد عناد /عضوا/جامعة ذي قار

٤_أ.د. كاظم مهدي هاشم /عضوا ومشرفآ /جامعة الامام الصادق

 

وبعد دفاع الطالبة عن رسالتها واسلوب بحثها والنتائج التي توصلت اليها قررت اللجنة قبول الرسالة ومنحها درجة الماجستير بتقدير (امتياز ).انتهى