عنوان
بازيابي لحظه‌ي ويدئويي با استفاده از شبكه‌هاي ترنسفورمر
نويسنده اصلي
كاظم‌پور، زينب
محل تحصيل
اصفهان : دانشگاه صنعتي اصفهان
رشته تحصيلي
مهندسي كامپيوتر
مقطع تحصيلي
كارشناسي ارشد
چكيده
با گسترش بي‌سابقة داده‌هاي ويدئويي در بسترهاي ديجيتال و پلتفرم‌هاي برخط، نياز به سامانه‌هايي هوشمند براي تحليل و بازيابي خودكار محتواي ويدئويي بيش از گذشته احساس مي‌شود. يكي از مسائل مهم و كاربردي در اين حوزه، بازيابي لحظة ويدئويي است؛ فرايندي كه طي آن، يك بازة زماني مشخص از يك ويدئو استخراج مي‌شود كه بيشترين هم‌خواني معنايي را با يك پرس‌وجوي متني ورودي دارد. چالش اصلي در اين حوزه، تركيب مؤثر داده‌هاي چندرسانه‌اي و مدل‌سازي وابستگي‌هاي معنايي و زماني ميان پرس‌وجو و محتواي ويدئو است. اگرچه روش‌هاي مختلفي در سال‌هاي اخير براي حل اين مسئله پيشنهاد شده‌اند، اغلب آن‌ها با محدوديت‌هايي نظير عدم تعامل مؤثر بين وجوه مختلف، ناديده‌گرفتن وابستگي‌هاي زماني بين كليپ‌ها و فقدان درك عميق از معناي پرس‌وجو مواجه‌اند.
در اين پژوهش، مدلي نوين بر پاية معماري ترنسفورمر چندرسانه‌اي با هدف افزايش دقت و درك معنايي معرفي شده است كه به‌صورت مؤثر اطلاعات متني، بصري و صوتي را در قالبي يكپارچه و وابسته به پرس‌وجو ادغام مي‌كند. روش پيشنهادي شامل سه نوآوري اصلي است: نخست، استفاده از مكانيسم توجه متقابل ميان پرس‌وجو و ورودي‌هاي چندرسانه‌اي براي استخراج نمايش‌هايي كه به‌صورت مفهومي با پرسش مرتبط مي‌باشند. دوم، بهره‌گيري از رمزگذار گلوگاهي چندرسانه‌اي كه با استفاده از مراحل فشرده‌سازي و گسترش، تبادل اطلاعات بين وجوه را در فضايي بهينه و معنادار انجام مي‌دهد. سوم، به‌كارگيري رمزگذار زماني نسبي جهت مدل‌سازي فاصله‌هاي زماني بين كليپ‌ها تا بتواند روابط ترتيبي را دقيق‌تر تحليل و لحاظ كند. درنهايت مولد پرس‌وجو توكن‌هايي توليد مي‌كند كه با رمزگشاي ترنسفورمر تعامل دارند و هدف آن‌ها تحليل نهايي بازنمايي‌هاي استخراج‌شده جهت پيش‌بيني مرزهاي زماني لحظة موردنظر است.
ارزيابي نتايج اين پژوهش نشان مي‌دهد كه مدل پيشنهادي در مقايسه با روش‌هاي گذشته عملكرد بهتري را در بازيابي لحظات مرتبط با پرس‌وجو ارائه مي‌دهد. همچنين در اين روش روابط معنايي ميان پرس‌وجوي متني و كليپ‌هاي ويدئويي تقويت شده است. عملكرد روش پيشنهادي در بازيابي لحظة ويدئويي روي مجموعه‌داده Charades-STA در معيار R@1 با حد آستانه 0٫5، 7٫41 درصد و با حد آستانه 0٫7، 4٫68 درصد در مقايسه با مدل پاية خود (UMT) بهبود پيدا كرده است.
شماره ركورد
235594
گرايش رشته تحصيلي
هوش مصنوعي و رباتيكز
دانشكده
آموزش الكترونيكي
دانشگاه
دانشگاه صنعتي اصفهان