Google розробила алгоритм Translatotron, який безпосередньо переводить усну мову на різні мови, минаючи конвертацію в текст. Система також вміє зберігати голос та інтонацію користувача.
В існуючих перекладачах, включаючи Google Translate, при усному перекладі звук спочатку конвертується в текст, а потім назад в аудіо. Основна відмінність Translatotron в тому, що він пропускає цей етап і працює безпосередньо зі звуком – система створює «зліпок» вихідної мови і перетворює її.
Подібний алгоритм дозволяє збільшити швидкість перекладу, скоротити число помилок в розпізнаванні мови і при перекладі слів, які не потрібно перекладати, наприклад, імен.
Фахівці Google відзначають, що Translatotron – перша система прямого переказу без конвертації в текст. Крім того, алгоритм навчили зберегaти інтонації і паузи, щоб зробити звучання перекладу більш природним. Нейросеть також може зберігати вихідний голос, але ця система навчена на меншій кількості даних, тому варіанти перекладу виходять трохи різними.
Подивитися приклади перекладів алгоритму можна в репозиторії Google на GitHub.
Джерело: life.informator.news
