Google создала самую точную систему машинного перевода на базе нейросетей

Новую систему машинного перевода GMNT (Google’s Neural Machine Translation) можно описать так: система состоит из двух 8-мислойных нейросетей - анализирующей и синтезирующей. Первая распознает предложение (одновременно справа налево и обратно) и передает полученную информацию второй нейросети, которая на основе этого состояния составляет предложение на другом языке. Между нейросетями установлен дополнительный модуль внимания, который должен скорректировать работу таким образом, чтобы система не пропускала редкие, но важные для смысла предложения слова.

Элементарными единицами в нейросети GMNT, в отличие от подобных аналогов, являются не слова, а их фрагменты (wordpieces), которых в данной работе используется 32 тысячи штук. По словам разработчиков, это позволяет добиться компромисса между универсальностью и точностью с одной стороны, и скоростью вычислений и обучения — с другой.