تشخيص نواحي برجسته تصوير RGBD با استفاده از شبكه عصبي عميق

كارشناسي ارشد

روش‌هاي تشخيص اشياء برجسته RGB-D در حوزه بينايي كامپيوتر با الهام از فرآيند توجه بصري انسان كه در ابتدا نواحي مهم تصوير را استخراج و سپس توان پردازشي خود را روي آنها متمركز مي‌كند، اين نواحي را براي پردازش‌هاي بعدي از روي داده‌هاي رنگ و عمق مشخص مي‌كنند. به دليل مفاهيم متفاوتي كه اشياء برجسته مي‌توانند در كاربردهاي مختلف داشته باشند، استفاده از شبكه‌هاي عصبي تمام كانولوشني به خاطر تواناييشان در استخراج ويژگي‌هاي چندسطحي و معنايي موجب بهبود عملكرد روش‌هاي رايج شده است. علي‌رغم تلاش‌هاي صورت گرفته در اين حوزه، نحوه تركيب ويژگي‌هاي رنگ و عمق و استفاده از ويژگي‌هاي متقابل چندسطحي براي توليد نقشه برجستگي همچنان به‌عنوان يك چالش باقي مانده است. از اين رو در اين پژوهش يك شبكه عصبي كانولوشني عميق با تركيب چندسطحي براي تشخيص اشياء برجسته مبتني بر اطلاعات عمق معرفي مي‌شود. اين معماري از دو شبكه‌ براي رنگ و عمق استفاده مي‌كند كه اطلاعات لايه‌هاي مختلف آن در سطوح مختلف با يكديگر تركيب مي‌شوند. براي تجميع ويژگي‌هاي متقابل مكمل به دست آمده از لايه‌هاي مختلف يك ساختار سلسله مراتبي پيشنهاد مي‌دهيم كه در آن ويژگي‌هاي متقابل طي مسيرهاي مختلف از لايه‌هاي عميق‌تر به سطحي‌تر منتقل مي‌شوند. نتايج آزمايشات نشان مي‌دهد طراحي پيشنهادي براي تجميع ويژگي‌هاي متقابل سطوح مختلف نسبت به الگوي تجميع U-Net، با افزايش قابليت شبكه در انتخاب ويژگي‌هاي متمايزكننده‌تر به‌ترتيب به افزايش 1.5، 1.7، 3 و 1.1 درصدري معيارهاي maxF، كاهش 12.3، 20، 21.7 و 13.3 درصدي معيار MAE و كاهش 21.1، 21.5، 9.7 و 23.5 درصدي وابستگي F_eta به مقادير آستانه مختلف در مجموعه‌هاي NJU2K-TE، NLPR-TE، DES و STERE مي‌انجامد. مقايسه روش پيشنهادي با در نظر گرفتن عدم نياز به هرگونه عمليات پيش يا پس‌پردازشي روي شش مجموعه داده به‌كمك معيارهاي maxF و MAE، عملكرد بهتر آنرا نسبت به نه روش رايج نشان مي‌دهد.مقايسه روش پيشنهادي با در نظر گرفتن عدم نياز به هرگونه عمليات پيش يا پس‌پردازشي روي شش مجموعه داده به‌كمك معيارهاي maxF و MAE، عملكرد بهتر آنرا نسبت به نه روش رايج نشان مي‌دهد.

194635

دانشگاه علم و صنعت ايران

مخابرات - سيستم

دكتر سيد علي اصغر بهشتي شيرازي