Яндекс научился автоматически переводить иностранные видео на русский. Убедитесь, посмотрев ролик китайского шеф-повара Ян Чжи

Яндекс Браузер запустил функцию автоматического перевода видео с иностранного языка. Технологию успешно опробовали в ролике с китайским шефом.

Так, повар сети китайских ресторанов «Чихо» Ян Чжи записал видео, в котором рассказал рецепт самого популярного блюда заведения — курицы Kowloon с паровым рисом — и показал, как его готовить. Однако Ян говорит только на родном языке — это мандаринский диалект китайского. Новая функция «Яндекса» позволяет смотреть видео с автоматической русской озвучкой: нужно открыть в Яндекс Браузере запись и нажать на кнопку «Перевести видео».

Для того чтобы это стало возможно, алгоритмы браузера изучили 1,5 миллиона видео на китайском и отобрали из них 100 тысяч наиболее подходящих для обучения модели распознавания речи. Нейросеть легко понимает все четыре китайских тона, которые определяют значение сказанного, и знает 6500 иероглифов. Кроме того, она умеет раскладывать трудные для восприятия на слух длинные фразы в исходном языке на короткие русские предложения.

Технология работает со всеми роликами на YouTube, в которых говорят на самом распространенном диалекте китайского. Помимо него, Яндекс Браузер может переводить на русский видео с английского, французского, немецкого и испанского языков.