ЗАСОБИ ПОКРАЩЕННЯ ЯКОСТІ ТА ЗНЕШУМЛЕННЯ ЗОБРАЖЕНЬ НА ОСНОВІ ЗАСТОСУВАННЯ ЗГОРТКОВИХ ТА РЕКУРЕНТНИХ НЕЙРОННИХ МЕРЕЖ

DOI: 10.31673/2412-4338.2023.018289

Анотація

У даній статті представлено огляд методів покращення і знешумлення зображень на основі згорткових і рекурентних нейронних мереж з додаванням non-local operations блоку. Ці методи мають широко використовуються у багатьох сферах. В медицині дані методи дозволяють покращити знімки МРТ і таким чином допомагає поставити лікарю правильний діагноз. В безпеці ці підходи допомагають покращити зображення і побачити деталі на ньому. Стаття охоплює основні існуючі підходи покращення зображень.
У статті надано аналіз основних характеристик досліджуваних нейронних мереж, а також сценарії, в яких вони є найбільш ефективними. Також наведено таблицю результатів роботи багатьох методів покращення зображень і додано досліджуваний метод для порівняння ефективності його роботи по покращенню зображень. У роботі зазначено сильні сторони кожного з цих підходів і вказано на їхню ефективність в різних сценаріях. Врахування специфічних особливостей завдання знешумлення, таких як характер шуму, тип зображень та обмеження обробки, допоможе вибрати найбільш підходящу архітектуру для досягнення бажаного результату. У статті також висвітлено використання non-local operations блоку для покращення якості зображень. Цей блок використовується для виявлення глобальних залежностей між пікселями зображення, що дозволяє краще моделювати зв’язки між різними частинами зображення. Завдяки non-local operations блоку можна ефективно знаходити довготривалі залежності і контекстуальну інформацію, що приводить до покращення знешумлення та відновлення зображень.
Загалом, дана стаття корисна для дослідників у сфері обробки зображень та машинного навчання, яким цікаво ознайомитися з основними відмінностями між згортковою нейронною мережею (CNN) і рекурентною нейронною мережею (RNN), яким цікаво ознайомитися з вже існуючими підходами по покращенню і знешумленню зображень. Дана стаття пропонує комплексний огляд методів покращення і знешумлення зображень з використанням згорткових і рекурентних нейронних мереж з додаванням non-local operations блоку, надає інформацію про існуючі підходи. Інформація та рекомендації, представлені в цій статті, можуть допомогти у виборі відповідних методів для вирішення задач обробки зображень

Ключові слова: згорткові і рекурентні нейронні мережі, Non-local operations, покращення зображень.

Список використаної літератури:
1. Chao Dong, Chen Change Loy, Member, IEEE, Kaiming He, Member, IEEE, and Xiaoou Tang, Fellow, IEEE Image Super-Resolution Using Deep Convolutional Networks. 2015. https://arxiv.org/pdf/1501.00092.pdf (дата звернення: 15.06.2023).
2. Kai Zhang, Wangmeng Zuo, Lei Zhang Learning a Single Convolutional Super-Resolution Network for Multiple Degradations. 2018. https://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Learning_a_Single_CVPR_2018_paper.pdf (дата звернення: 15.06.2023).
3. Wang et al Non-Local Operation. 2018. https://paperswithcode.com/method/non-local-operation
4. Stamatios Lefkimmiatis Non-local Color Image Denoising with Convolutional Neural Networks. 2016. https://arxiv.org/pdf/1611.06757.pdf (дата звернення: 15.06.2023).
5. Xiaolong Wang, Ross Girshick, Abhinav Gupta, Kaiming He Non-local Neural Networks. 2018 https://arxiv.org/pdf/1711.07971.pdf (дата звернення: 15.06.2023).
6. Ding Liu, Bihan Wen, Yuchen Fan, Chen Change Loy, Thomas S. Huang Non-Local Recurrent Network for Image Restoration. 2018. https://proceedings.neurips.cc/paper_files/paper/2018/file/fc49306d97602c8ed1be1dfbf0835ead-Paper.pdf (дата звернення: 15.06.2023).
7. Chunwei Tian, Lunke Fei , Wenxian Zheng , Yong Xu , Wangmeng Zuo, Chia-Wen Lin Deep Learning on Image Denoising: An Overview. 2019. https://arxiv.org/pdf/1912.13171.pdf (дата звернення: 15.06.2023).
8. Bohdan V. Chapaliuk, Yuriy P. Zaychenko Використання рекурентних нейронних мереж для автоматичної діагностики раку легенів. 2019 http://journal.iasa.kpi.ua/article/view/177906 (дата звернення: 15.06.2023).
9. Зінченко О. В., Звенігородський О. С., Кисіль Т. М., Згорткові нейронні мережі для вирішення задач комп’ютерного зору. 2022. http://tit.dut.edu.ua/index.php/telecommunication/article/view/2417 (дата звернення: 15.06.2023).
10. Михайлов, В. С., Дослідження та розробка методів покращення зображень. 2019. http://openarchive.nure.ua/handle/document/11968
11. Anakhov P., Zhebka V., Berkman L., Koretska V. Increasing Functional Stability of Telecommunications Network in the Depressed Zone of HPS Reservoir / Lecture Notes in Electrical Engineering, 2023, 965 LNEE, p. 214–230.