افزايش وضوح ويديو با استفاده از يك مبدل بازگشتي

اصفهان : دانشگاه صنعتي اصفهان

مهندسي برق

كارشناسي ارشد

هدف از افزايش كيفيت فيلم، بازيابي چندين فريم با كيفيت بالا از فريم‌هاي با كيفيت پايين است. روش‌هاي موجود در اين حوزه، عموماً به دو دسته كلي تقسيم مي‌شوند،‌ روش‌هاي موازي كه تمام فريم‌ها را به صورت همزمان و مستقل از يكديگر بازسازي مي‌كنند و روش‌هاي بازگشتي كه فريم‌هاي فيلم را به صورت متوالي و با استفاده از اطلاعات فريم قبلي بازسازي مي‌كنند. هر يك از اين روش‌ها داراي مزايا و معايبي هستند. روش‌هاي موازي در تركيب اطلاعات زماني برتري دارند، اما به دليل اندازه بزرگ مدل و مصرف حافظه بالا، با محدوديت‌هايي مواجه هستند. در مقابل، روش‌هاي بازگشتي به دليل اشتراك پارامترها در فريم‌هاي مختلف، از اندازه مدل كوچك‌تري برخوردارند، اما در مدل‌سازي وابستگي‌هاي دوربرد و موازي‌سازي با چالش‌هايي روبرو هستند. در اين پژوهش، با هدف بهره‌گيري از مزاياي هر دو رويكرد، يك روش بازگشتي مبتني بر مبدل‌ها را، پيشنهاد مي‌دهيم. اين روش، با پردازش موازي فريم‌هاي محلي مجاور در يك چارچوب بازگشتي سراسري، به تعادل مطلوبي بين اندازه مدل، كارايي و اثربخشي دست مي‌يابد. نتايج آزمايش‌ مدل به دست آمده براي وظيفه افزايش وضوح فيلم نشان مي‌دهد كه، روش پيشنهادي در مقايسه با ساير روش‌هاي موجود، امكان دستيابي به عملكردي مشابه و حتي بهتر در برخي مجموعه‌داده‌هاي معيار را داراست. با به كار گيري رويكرد موازي در يك چارچوب بازگشتي كلي، اين مدل موفق به بهبود عملكرد شبكه‌هاي افزايش كيفيت فيلم مبتني بر مبدل به اندازه قابل توجه 62/0 دسي‌بل در معيار تمام‌مرجع PSNR شده است. اين در حالي است كه اندازه مدل، حافظه مورد نياز در زمان تست و اجرا در اين روش، نسبت به روش‌هاي ديگر مبتني بر مبدل‌ها مانند VRT، بسيار كمتر و قابل مقايسه با روش‌هاي بازگشتي مانند BasicVSR++ است. اين شبكه، در مقايسه با دو شبكه VSRT و VRT كه به ترتيب داراي 6/32 و 6/35 ميليون پارامتر هستند، تنها با تعداد 10 ميليون پارامتر به نتايجي فراتر از هر دو شبكه در مجموعه داده‌ي REDs4 دست‌يافته است. همچنين حافظه مورد نياز براي اجراي اين شبكه در شرايط آزمايشي يكسان، مقداري در حدود 1/1 گيگابايت است كه اين مقدار در مقايسه با دو شبكه VSRT و VRT به ترتيب حدود 27 و 2 برابر كمتر است. به دليل استفاده از مبدل‌ها در هسته معماري شبكه پيشنهادي، اين مدل در مقايسه‌ با معماري‌هاي بازگشتي برتر مانند BasicVSR++ تنها با افزايش 15 درصدي تعداد پارامتر‌ها، موفق به مدلسازي روابط بسيار طولاني‌تر و بهبود SSIM به مقدار 0062/0 شده است.

230715

مخابرات سيستم

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان