ارائه کننده: ابوالفضل صاحبان ملکی
استاد راهنما: دکتر مریم ایمانی آرانی
استاد مشاور اول: دکتر محمد حسن قاسمیان یزدی
استاد ناظر داخلی: دکتر احمد رضا شرافت
استاد ناظر خارج از دانشگاه: دکتر احمد کلهر
تاریخ: 1403/06/19
ساعت: 10
مکان: دانشکده مهندسی برق و کامپیوتر – کلاس 601

چکیده:
تشخیص اشیا یکی از مسائل بنیادی بینایی ماشین می‌باشد که همزمان به دنبال طبقه‌بندی و پیدا کردن محل اشیا موجود در یک تصویر می‌باشد. از جمله مهم‌ترین کاربرد‌های تشخیص اشیا می‌توان به حوزه‌های نظارتی، خودرو‌‌های بدون سرنشین و تحلیل تصاویر پزشکی اشاره کرد که اهمیت و حساسیت کاربرد‌های نام برده و نیاز به عملکرد مطلوب و دقیق در این حوزه‌ها، اهمیت پژوهش در زمینه تشخیص اشیا را بیان می‌کند.
با وجود پیشرفت‌های اخیر در مدل‌های تشخیص اشیا، همچنان عملکرد مدل‌های حاضر مورد بحث می‌باشد و بسیاری از این مدل‌ها در طراحی معماری خود دچار ضعف‌هایی هستند که به دلیل حساسیت بالای کاربرد مدل‌های تشخیص اشیا نیاز به توجه و رفع این ضعف‌ها به یکی از حوزه‌های پژوهشی مورد توجه بینایی ماشین تبدیل شده است. مشخص نمودن مکان دقیق اشیا داخل تصویر و همچنین طبقه‌بندی کردن اشیا تصویر ورودی می‌تواند با چالش‌های بسیاری همراه باشد. برای مثال، می‌توان تصور کرد که اشیا موجود در یک تصویر در فاصله‌های مختلفی از یکدیگر و از محل تصویربرداری قرار گرفته‌‌اند و یا برخی از این اشیا می‌توانند با دیگر اشیا موجود در صحنه هم‌پوشانی داشته باشند. همچنین زمان تصویربرداری، شرایط روشنایی صحنه در هنگام تصویر برداری، حالت‌ها و زاویه‌های مختلف اشیا و ... را می‌توان از دیگر چالش‌های مسئله تشخیص اشیا نام برد که همه این پیچیدگی‌ها می‌بایست در طراحی یک مدل تشخیص اشیا در نظر گرفته شود تا مدل بتواند اشیا را در حالت‌ها و شرایط مختلف به درستی تشخیص دهد.
در جمع آوری مجموعه داده‌های آموزشی یکی از مشکلات رایج، وجود عدم تعادل در داده‌های جمع آوری شده است. از معروف‌ترین عدم تعادل‌ها می‌توان به عدم تعادل در تعداد نمونه‌های آموزشی جمع آوری شده برای کلاس‎‌های مختلف اشاره کرد که این عدم تعادل می‌تواند باعث بایاس شدن مدل تشخیص اشیا به سمت کلاس‌هایی که نمونه آموزشی بیشتری دارند شود که در نهایت باعث افت عملکرد مدل در تشخیص اشیا کلاس‎ها با نمونه آموزشی کمتر می‌شود. همچنین، برخی از عدم تعادل‌ها مثل عدم تعادل در مقیاس اشیا داخل تصاویر به شکل ذاتی در داده‌های جمع آوری شده وجود دارند که به همین دلیل جمع آوری مجموعه داده‌ای متعادل از هر نظر کاری ناممکن است. علاوه بر این، مدل طراحی شده نیز می‌تواند در معماری خود باعث به وجود آمدن برخی از عدم تعادل‌ها در پردازش ویژگی‌های استخراج شده شود. با در نظر گرفتن پیچیدگی‌های ذاتی مسئله تشخیص اشیا و همچنین وجود عدم تعادل در داده و در طراحی معماری مدل‌های تشخیص اشیا، اهمیت این مسئله ایجاب می‌کند تا در طراحی مدل تشخیص اشیا به این عدم تعادل‌ها توجه نمود تا بتوان عملکرد مدل‌های تشخیص اشیا را با متعادل کردن آنها بهبود بخشید.
هدف پژوهش انجام شده این بوده است تا برای برخی از عدم تعادل‌های موجود در مدل‌های تشخیص اشیا راه حل‌های مناسبی ارائه شود تا عملکرد مدل تشخیص اشیا بهبود یابد. از جمله راه حل‌های پیشنهاد شده در این پژوهش می‌توان به 1-طراحی یک هرم ویژگی جهت مقابله با عدم تعادل در مقیاس اشیا که با در نظر گرفتن احتمال شباهت ویژگی‌ها آنها را با هم ادغام می‌کند، 2-طراحی یک بلوک طبقه‌بند غیرمارکوف که ویژگی‌های پیشین استخراج شده از تصویر را نیز جهت پیش‌بینی کلاش اشیا در نظر می‌گیرد و 3-طراحی رگرسوری که خروجی آن به مقیاس نقشه‌های ویژگی حساس می‌باشد، اشاره کرد. راه حل‌ها و بلوک‌های پیشنهادی در این پژوهش با اضافه شدن به مدل‌های معروف RetinaNet، FCOS و ATSS توانسته‌اند باعث افزایش عملکرد تا 2.5% در معیار mAP برای ارزیابی این مدل‌ها شوند. برای مثال عملکرد مدل ATSS بدون بلوک‌های پیشنهادی این پژوهش برابر 30% در معیار mAP می‌باشد که با اضافه شدن بلوک‌های پیشنهادی، این عدد برابر 32.3% می‌باشد که نشان دهنده پیشرفت 7.6% مدل بر روی مجموعه داده معیار MS COCO برای مدل‌ها تشخیص اشیا می‌باشد.