«Яндекс» запустил переводчик видео с английского на русский
«Яндекс» добавил в свои браузеры и приложения функцию автоматического перевода видео с английского языка на русский. «Теперь вы можете посмотреть с русской озвучкой практически любой англоязычный ролик, какой захотите», — заявили в компании.
Перевод работает на компьютерах — в «Яндекс.Браузере» и на мобильных устройствах: в браузере для Android и приложении «Яндекс» для Android и iOS. <…>
Перевод, который выполняет «Яндекс», получается закадровым и двухголосым. Мы приглушаем оригинальную звуковую дорожку — так, чтобы она была слышна, но не мешала восприятию — и накладываем на неё новую, с переводом. Мужские голоса переводятся мужским голосом, женские — женским. Если вы поймёте, что женский голос вам знаком, знайте, что вам не показалось. Это голос Алисы.
Перевод доступен для всех англоязычных роликов на YouTube, Vimeo, Facebook и других популярных платформах. <…> Мы шли к этому шагу более десяти лет. <…>
Мы не только превращаем аудио в текст [который воспроизводится голосом], но и запускаем специальную нейросеть, которая вычищает мусор, группирует слова в смысловые сегменты и расставляет знаки препинания.
Кстати, мы опираемся не только на голос, но и на субтитры. Решили так: если человек загрузил к видео субтитры — то распознавание не используем: ведь тексты, написанные людьми, обычно более качественные. <…> При этом даже ручные субтитры нужно пропускать через ту самую нейросеть. <…>
Сейчас у нас два голоса, дальше станет больше. <…> Вот наглядная схема всего процесса перевода видео:
