Нелинейные модели используются с момента появления методов машинного обучения и являются неотъемлемой частью многих алгоритмов. К ним относятся, например, графические модели, ядра, а также нейронные сети. В последнее время особый класс нелинейных методов – Глубокие нейронные сети (DNN) - совершил революцию, продемонстрировав впечатляющую производительность на больших наборах данных. Глубокие сети также успешно применяются в других областях исследований, таких как обработка языка, распознавание человеческого действия или физике.
Хотя они очень успешны с точки зрения производительности, у них есть недостаток в том, что они работают как черный ящик, так как неясно, почему они приходят к определенному решению. Нейронная сеть может иметь слой «нейронов», которые «смотрят» на пиксели и слой, который смотрит на края, например, контур человека на фоне. После обучения на тысячах или миллионах точек данных алгоритм сети разработает свои собственные правила обработки новых данных. Но непонятно, что именно из этих данных использует алгоритм, чтобы прийти к соответствующим выводам. В новой статье учёные пытаются устранить, хотя бы частично, этот недостаток.
Предсказание для класса «cat» получается путем прямого распространения значений пикселей {xp} и кодируется выходным нейроном xf. Выходному нейрону присваивается оценка релевантности Rf = xf, определяет кошку на изображении. Затем "работает перемотка", где {Rp} обозначает самые значимые для сети точки, которые могут быть представлены как "тепловая карта".
«Нейронные сети - это увлекательные математические модели. Они превосходят классические методы во многих областях, но часто используются в черной коробке», - говорит Войцех Самек (Wojciech Samek), исследователь Института телекоммуникаций им. Фраунгофера в Институте им. Генриха Герца в Берлине.
В попытке расшифровать этот черный ящик, Самек и его коллеги создали программное обеспечение, которое может проходить через такие сети будто в «обратно й перемотке», чтобы увидеть, где было принято определенное решение, и насколько сильно оно повлияло на результаты. Их метод, позволяет исследователям измерять, сколько индивидуальных входов, таких как пиксели изображения, вносят вклад в общий вывод. Пиксели и области затем получают числовую оценку их важности. С помощью этой информации исследователи могут создавать визуализации, которые накладывают «маску» на изображение. Маска наиболее яркая, где пиксели являются важными и самыми тусклыми в регионах, которые практически не влияют на вывод нейронной сети. Получились так называемые «тепловые карты» пикселей.
Например, программное обеспечение было использовано на двух нейронных сетях, обученных распознавать лошадей. Интересно, что одна нейронная сеть использовала форму тела, чтобы определить, была ли это лошадь. Другая, однако, «смотрела» на символы авторского права на изображениях, которые были связаны с сайтами ассоциации лошадей.
Эта работа может улучшить нейронные сети, полагает Самек. Новая программа может помочь сократить количество входных данных, что является одной из самых больших проблем в развитии ИИ, и сосредоточить внимание на том, что важно. Кроме того, возможно, мы получим ответы, почему иногда сети ошибаются при классификации данных.