بازسازی تصاویر هوش مصنوعی انویدیا

تکنیک بازسازی تصاویر توسط هوش مصنوعی با نتایج واقعی

محققان انویدیا به رهبری گیلین لیو، تکنیک یادگیری عمیق جدیدی در شاخه هنر معرفی کردند که توانایی ویرایش و بازسازی تصاویر آسیب دیده را داراست. تصاویری که در آن ها حفره ایجاد شده یا پیکسل هایی را از دست داده اند.

این روش همچنین می تواند برای ویرایش تصاویر به وسیله حذف محتوا و پرکردن جای خالی آن ها بکار گرفته شود.

این شیوه که پروسه ای به نام “بازسازی تصاویر” را اجرا می کند، می تواند در نرم افزار های ویرایش تصویر پیاده سازی شود تا  محتوای نا خواسته را حذف کرده و آن را با محتوا جایگزین واقعی و باورپذیر که توسط رایانه تولید شده جایگزین کند.

محققان انویدیا در گزارش تحقیقات خود عنوان کردند : ” روش ما می تواند به خوبی فضاهای خالی تصاویر در هر شکل، اندازه، موقعیت و با هر فاصله ای از حاشیه تصویر که باشند بازسازی کند. روش های قبلی یادگیری عمیق در این زمینه تنها در محدوده ای مستطیلی شکل در میانه تصویر کاربرد داشتند که معمولا با پس پردازش های سنگینی همراه بودند. علاوه بر این، روش ما حفره هایی با ابعاد بزرگ تر را نیز مدیریت می کند.”

برای آماده سازی جهت آموزش شبکه عصبی خود، تیم تحقیقاتی در ابتدا ۵۵٫۱۱۶ ماسک به صورت رگه ها و حفره های تصادفی خود ساخته در اشکال و ابعاد مختلف تولید کردند. آن ها همچنین ۲۵٫۰۰۰ ماسک به عنوان تست شبکه تولید کردند. ماسک ها در نهایت برای افزایش دقت فرایند بازسازی بر اساس ابعاد تصویر ورودی، به ۶ شاخه دسته بندی شدند.

ماسک تحقیقات انویدیا
نمونه ای از ماسک های تولید شده برای آموزش شبکه عصبی

با استفاده از کارت گرافیک های Nvidia Tesla V100 و فریمورک یادگیری عمیق PyTorch تسریع شده توسط cuDNN ، تیم تحقیقاتی با اعمال ماسک های تولید شده بر روی تصاویری از ImageNet , Places2  و دیتاست های CelebA-HQ ، شبکه عصبی خود را آموزش دادند.

در مرحله آموزش، حفره ها و قسمت های حذف شده بر روی تصاویر کامل بدست آمده از دیتاست های بالا اعمال شده و به شبکه معرفی می شوند تا شبکه جایگزین کردن پیکسل های حذف شده را فرا بگیرد.

در مرحله آزمایش، حفره ها و قسمت های حذف شده ای که در مرحله آموزش به سیستم ارائه نشده بودند با اجرا بر روی تصاویر آزمایش، برای تست کردن سیستم به آن معرفی میشوند تا اعتبارسنجی عادلانه ای از دقت بازسازی تصاویر بدست آید.

محققان گفته اند علت ضعف روش های موجود بازسازی تصاویر توسط یادگیری عمیق این است که خروجی پیکسل های حذف شده لزوما به مقدار وردوی هایی که از آن پیکسل های حذف شده به سیستم داده شد بستگی دارد و درنتیجه باعث نا هماهنگی در رنگ و محو شدگی تصویر می شود. برای رفع این مشکل، تیم انویدیا روشی ارائه دادند که تضمین می کند خروجی پیکسل های حذف شده به مقدار های ورودی آن پیکسل ها متکی نباشند. این روش از یک لایه “کانولوشن جزئی” استفاده می کند که هر خروجی را با تصدیق منطقه پذیرش متناظر، به صورت طبیعی بازسازی می کند. این باز سازی طبیعی اطمینان می دهد که مقدار خروجی از مقدار پیکسل در منطقه پذیرش، مستقل است. این مدل از یک معماری UNet که توسط این کانولوشن های جزئی پیاده سازی شده، ساخته شده است. یک سری توابع زیان، مانند زیان ویژگی بکار رفته در مدل VGG و همچنین زیان سبک، برای آموزش این مدل به کار رفته اند تا خروجی های واقعی باورپذیری تولید کند.

تیم توسعه گفته به همین دلیل این روش از روش های استفاده شده در گذشته بهتر عمل خواهد کرد.

محققان انویدیا عنوان کردند : “طبق دانسته های ما، ما برای اولین بار توانسته ایم تاثیر یادگیری عمیق بر مدل های بازسازی تصاویر از روی حفره هایی با اشکال غیر متعارف را نشان دهیم.”

محققین همچنین در گزارش خود اشاره کردند که تعدادی فریمورک برای پردازش تصاویر با ابعاد بسیار بالا اعمال کرده اند.

برای آزمایش و استفاده از این تکنیک می توانید به لینک زیر مراجعه کنید :

بازسازی تصاویر

منبعNvidia

همچنین ببینید

اولین کامپیوتر سرفیس هوش مصنوعی مایکروسافت چه قابلیتی دارد؟

اولین کامپیوتر سرفیس هوش مصنوعی مایکروسافت چه ویژگی هایی دارد؟

شرکت مایکروسافت روز پنجشنبه از راه اندازی اولین رایانه شخصی سرفیس خود که برای هوش …

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *