Российская нейросеть напишет субтитры для видео

Собственную технологию распознавания речи использовали разработчики ВКонтакте для автоматических субтитров в видео. Как сообщается в информационном релизе, распространенном штаб-квартирой компании в Санкт-Петербурге, в обновленном видеоплеере появились автоматические субтитры на русском языке. Они созданы на базе оригинальной технологии соцсети, алгоритмов машинного обучения единой видеоплатформы и системы интеллектуального шумоподавления единой платформы видеозвонков.

Новая технология автоматически генерирует текст, расставляет буквы и знаки препинания, распределяет текст по кадрам и обеспечивает точность появления субтитров. В ближайшее время программа научится разделять речь спикеров на разные реплики. Как отмечают ВКонтакте, это значительно повышает понятность расшифровки и упрощает чтение во время просмотра видео.

Для обеспечения высокого качества расшифровки субтитров аудиопоток проходит четыре этапа обработки. Сначала запись очищается от фоновых звуков с помощью технологии интеллектуального шумоподавления. Затем нейросеть распознает слова и формирует из них текст. На третьем этапе подключается пунктуационная модель: она расставляет буквы и знаки препинания. Методы машинного обучения распределяют текст по кадрам, чтобы фраза появлялась в тот момент, когда говорящий ее произносит.

Соцсеть ведет тестирование и дообучение новой технологии: субтитры в экспериментальном режиме уже доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении ВКонтакте.

Фото: vk.com