Машинное обучение оказалось очень полезным инструментом для перевода, но у него есть несколько слабых мест. Тенденция выполнять работу пословно может привести к серьезным ошибкам.
Рассмотрите два предложения:
I arrived at the bank after crossing the street.
(Я пришел в банк после пересечения улицы).
I arrived at the bank after crossing the river.
(Я прибыл на берег после пересечения реки).
Очевидно, “bank” имеет в виду что-то другое в каждом предложении, но алгоритм, проходящий через предложение, может с легкостью выбрать неправильный вариант — так как он не узнает, какой “bank” правильный, пока не доберется до конца предложения. Этот вид двусмысленности есть везде, как только вы начнете его искать.
Решение компании Google - механизм внимания, встроенный в систему, которую она называет Transformer. Она сравнивает каждое слово с каждым другим словом в предложении, чтобы увидеть, влияют ли слова друг на друга — например, чтобы увидеть, “он” или “она” говорит, или в каком смысле используется слово “bank”.
При построении переведенного предложения механизм внимания сравнивает каждое слово, присоединяя его к каждому другому слову.
