دوره 3، شماره 3، 1404، صفحات 6 - 18

نویسندگان : سید مهدی حضرتی فرد* ¹ ، امیر چکینی ²

چکیده :
پژوهشگران در حال بهره‌گیری از تکنیک‌های پیشرفته برای توسعه الگوریتم‌هایی هستند که توانایی افزودن خودکار رنگ به ویدئوهای سیاه و سفید را دارند. این پیشرفت می‌تواند تجربه ما از فیلم‌های تاریخی را متحول کرده و ابزاری قدرتمند را در اختیار فیلم‌سازان و تولیدکنندگان ویدئو قرار دهد. این الگوریتم‌ها با استفاده از شبکه‌های عصبی عمیق پیشرفته به تحلیل تصاویر می‌پردازند، الگوها را شناسایی می‌کنند و راهی نویدبخش برای استخراج معنا و بینش از داده‌های بصری در حوزه بینایی ماشین ارائه می‌دهند. با وجود اینکه مطالعات کنونی، بیشتر بر رنگی‌سازی تصاویر متمرکز هستند، در زمینه ویدئوها و فیلم‌ها، همچنان یک خلأ محسوس در استفاده از تکنیک‌های یادگیری ماشین عمیق وجود دارد. این تحقیق با هدف پر کردن این شکاف صورت گرفته است و نشان می‌دهد که تکنیک‌های رنگی‌سازی تصاویر امروزی می‌توانند برای ویدئوها نیز به‌طور مؤثر استفاده شوند و با پیشرفته‌ترین روش‌های موجود معرفی‌‌شده در چالش رنگی‌سازی ویدئو NTIRE 2023، برابری کنند. در این پژوهش، کاربرد مدل‌های انتشار مورد بررسی قرار گرفته است؛ مدل‌هایی که به دلیل توانایی در تولید تصویر و متن، محبوبیت یافته‌اند. در پیاده‌سازی ما، یک مدل انتشار برای افزودن نویز به فریم‌ها به کار رفته و یک شبکه U-Net مجهز به لایه‌های خودتوجهی، وظیفه پیش‌بینی فریم‌های بدون نویز و درنتیجه، پیش‌بینی رنگ فریم‌های ویدئویی را بر عهده دارد. برای آموزش مدل از مجموعه داده‌های DAVIS و LDV استفاده شد. بدین ترتیب، مقایسه فریم‌های رنگی‌شده با فریم‌های واقعی در مجموعه آزمون، نتایجی امیدوارکننده را در معیارهای کیفیت مختلف ازجمله PSNR، SSIM، FID و CDC نشان داد.

کلمات کلیدی :
رنگی‌سازی ویدئو، مدل‌های انتشار در یادگیری عمیق، معیارهای ارزیابی