پرسش و پاسخ از ويدئو با استفاده از شبكه هاي عصبي گرافي و تبديل كننده

اصفهان : دانشگاه صنعتي اصفهان

مهندسي كامپيوتر

كارشناسي ارشد

پرسش و پاسخ از ويدئو يكي از مسائل جديد، مشترك بين دو حوزه پردازش زبان‌هاي طبيعي و بينايي كامپيوتر است. در اين مسئله، يك ويدئو و يك سوال مربوط به آن به سامانه داده مي‌شود و هدف دريافت پاسخ صحيح و قابل قبول از سامانه است. در قسمت بصري، پويايي و تغييرات اشيا در ويدئو در طول زمان نسبت به تصاوير ثابت و همچنين فهم و درك صحيحي از ارتباط‌هاي معنايي و فضايي و زماني بين اشياء مي‌تواند چالش‌هاي مهم در اين حوزه باشند. در قسمت متن، درك مناسب از سوال و ارتباط بين سوال مطرح شده با ويدئو از نكات مهم و چالش‌هاي مطرح در اين مسئله است. امروزه استفاده از مباحث يادگيري ماشين و يادگيري عميق و رويكردهاي جديد آن‌ها مانند شبكه‌هاي عصبي عميق و شبكه‌هاي عصبي گرافي در مسئله پرسش و پاسخ از ويدئو مورد توجه قرار گرفته است. همچنين بهره‌گيري از تبديل‌كننده مي‌تواند به رفع چالش‌هاي مطرح شده كمك كند. در اين پژوهش استفاده از گراف‌هاي مختلف استخراج شده از ويدئو نظير گراف فضايي و زماني و تركيب كردن آن‌ها، به بهبود ويژگي‌هاي اشيا در ويدئو و ارتباط‌هاي مختلف بين اشيا كمك كرده است. همچنين استفاده از تبديل‌كننده، باعث درك بهتر نسبت به ويژگي‌ها و روابط پيچيده بين اشيا شده است. براي فهم بهتر سوالات و ارتباط بين سوال مطرح شده و ويدئو استفاده از مدل‌هاي زباني قدرتمند بسيار موثر بوده است. همچنين توليد توضيح براي هر ويدئو، به شناخت بهتر ارتباط بين ويدئو و سوال منجر شده است. نتايج به دست آمده بر روي دو مجموعه داده NExT-QA و TGIF-QA نشان مي‌دهد مدل پيشنهادي توانسته است در مقايسه با مدل‌هاي رقيب عملكرد بهتري از خود نشان دهد كه مي‌تواند به عنوان مدلي كارآمد مورد استفاده قرار گيرد.

229826

هوش مصنوعي و رباتيكز

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان