Яндекс предложил решение проблемы «катастрофического забывания» голосовых помощников

Производители умных колонок, автомобильных ассистентов и других голосовых устройств регулярно расширяют набор фраз, которые работают без подключения к интернету. Обычно для этого модель дообучают, но после обновления она начинает хуже распознавать уже знакомые команды. Этот эффект специалисты называют «катастрофическим забыванием».

Существующие методы непрерывного обучения, такие как эластичное закрепление весов, лишь уменьшают проблему, но не устраняют её полностью. Исследователи Яндекса пошли другим путём: они предложили не менять всю нейросеть, а добавлять небольшой дополнительный модуль — отдельную обучаемую ветвь, отвечающую за новые команды.

Как работает модульное расширение

Новый модуль использует признаки, которые извлекает основная модель, но имеет собственный классификатор для новых команд. Параметры базовой модели остаются неизменными, включая нормализацию и основной классификатор. Таким образом, модель продолжает распознавать старые команды с прежней точностью, а новые можно добавить, обучив только дополнительный модуль, не перестраивая всю систему.

Размер нейросети при этом увеличивается незначительно — менее чем на 10%. Авторы проверили эффективность подхода на открытом датасете Google Speech Commands. В экспериментах модель обучали новым парам команд, не допуская ухудшения распознавания старых.

Превосходство над аналогами

Результаты показали, что метод Яндекса снизил среднюю долю пропущенных новых команд с 6,46% до 4,37% по сравнению с отдельной моделью аналогичного размера. Новый подход превзошёл методы адаптеров и LoRA. Для сравнения: при полном дообучении модели она хорошо усваивала новые команды, но средняя доля забытых старых возрастала с 2,71% до 69,08%.

Исследователи считают, что такой подход особенно полезен для устройств с ограниченными вычислительными ресурсами — умных колонок, бытовой техники, автомобильных голосовых помощников. Работа была представлена на международной конференции Interspeech 2026, которая прошла с 27 сентября по 1 октября в Сиднее.