ВИЯВЛЕННЯ ДИПФЕЙКОВИХ ЗОБРАЖЕНЬ У СИСТЕМАХ ЕЛЕКТРОННИХ КОМУНІКАЦІЙ ЗА ДОПОМОГОЮ НЕЙРОННИХ МЕРЕЖ

Анотація

У статті досліджується критично важлива проблема виявлення згенерованого візуального контенту (дипфейків) у сучасних системах електронних комунікацій. Зі стрімким розвитком генеративних змагальних мереж (GAN) та дифузійних моделей класичні просторові детектори швидко перенавчаються та втрачають свою ефективність при появі нових алгоритмів генерації, що створює серйозні загрози для інформаційної безпеки та довіри до цифрових каналів зв'язку. Метою даної роботи є розробка та комплексне дослідження модифікованих нейромережевих архітектур, у яких завдяки синергійному поєднанню просторових та частотних механізмів уваги досягається суттєве підвищення робастності та ефективності детекції згенерованих зображень. У ході дослідження було запропоновано та програмно реалізовано шість унікальних гібридних архітектур на базі глибокої згорткової мережі ResNet-50. Ефективність класифікації було значно підвищено завдяки цілеспрямованій інтеграції механізмів просторової багатомасштабної уваги (MSA), міжканальної уваги (CBAM) та частотної уваги, заснованої на швидкому перетворенні Фур’є (FFT), а також використанню трансформерних модулів (Transformer Decoder) для аналізу глобальних структурних взаємозв'язків. Крім того, розроблено фінальну ансамблеву модель, яка за допомогою методу м'якого голосування (soft voting) ефективно об'єднує прогнози спеціалізованих гібридів, мінімізуючи хибні спрацьовування окремих класифікаторів. Експериментальне тестування моделей проводилось на комплексних наборах даних (DFFD, FaceForensics++, HiDF) та незалежному балансованому зовнішньому датасеті (Deepfake vs Real 60K) для об'єктивної перевірки здатності до крос-доменного узагальнення. За результатами тестування на валідаційній вибірці розроблений ансамбль продемонстрував найвищу ефективність: загальна точність (Accuracy) склала 99.20 %, а F1-міра - 0.9910. Тестування на зовнішніх даних показало зниження точності до 74.7 %, що підтвердило гіпотезу про складність узагальнення ознак нових генераторів. За допомогою побудови карт активації ознак Grad-CAM було детально візуалізовано принципи прийняття рішень моделями та математично доведено критичну важливість частотної гілки (архітектура ResNetSECBAMFFT) для локалізації спектральних аномалій у випадках високоякісних підробок, які повністю ігноруються класичними просторовими детекторами.

Ключові слова: дипфейк, згорткові нейронні мережі, ResNet-50, механізми уваги, перетворення Фур’є, ансамблеве навчання, Grad-CAM, кібербезпека.