В «Яндекс браузере» появилась функция перевода видео-контента с китайского языка, сообщают представители Yandex.

Нейросеть обучили не просто переводить с субтитрами, а накладывать озвучку на русском при просмотре видео на китайском языке. По словам представителей Яндекса, после добавления функции перевода с китайского на русский появилась возможность работы с другими, схожими по сложности языками – японским и корейским.

В процессе перевода видео-контента вначале идет конвертация аудиоряда в текст, затем нейросеть придает получившемуся тексту более литературный вид, после чего полученный текст отправляется на перевод на русский. Озвучка получившегося текста с помощью нейросети синхронизируется с видеорядом.

Чтобы «обучить» нейросеть китайскому, ее для начала заставили выучить 6500 иероглифов, а также выучить четыре тона, с помощью которого в китайском языке определяется смысл сказанного.

Теперь «Яндекс браузер» при просмотре в YouTube видео на китайском сам предложит перевести аудиоряд на русский язык.