Переводят ли машины тексты на другой язык так же хорошо как люди? В принципе, да, если не брать во внимание контекст. Не так давно компьютерные лингвисты заявили, что переводы нейронных машин не менее эффективны, чем живых переводчиков. Этим летом исследователи из Microsoft Research произвели сенсацию. Они сообщили, что их система китайско-английского перевода действительно достигла «человеческого уровня».
Нейронные сети добились значительного прогресса в перевода текстов с одного языка на другой в последние годы. В связи с этим можно сказать, что объявление достигнутого уровня не было большим сюрпризом. Исследователи во главе с Самуэлем Лейбли из Цюрихского университета теперь сравнили качество человеческих и машинных переводов по другим критериям. И их обнадеживающий результат заключается в том, что переводы профессионалов по-прежнему лучше, чем компьютеров.
Есть два аспекта для оценки переводов: согласованность с исходным текстом, и естественность, то есть, насколько естественным кажется перевод на целевом языке. Такой подход не вызывает споров. Один недостаток швейцарские исследователи видят в традиционной практике сравнения человеческих и машинных текстов в том, что сравниваются отдельно взятые предложения, а не целые тексты.
В своем исследовании они изменили подход, попросив экспертов оценить согласованность и естественность переведенных новостных текстов как по предложениям, так и в целом. Исследователи смогли подтвердить, что между компьютерами и людьми нет статистически значимого различия в качестве перевода предложений. В переводах всего текста предпочтение было отдано живым переводчикам.
Машинные переводчики имеют проблему с согласованностью. В качестве примера Лейбли привел приложение, которое перевело три раза одно и то же имя в китайском тексте по-разному. Сравнение только отдельных предложений не отражает этой проблемы, но в полном документе это сильно выделяется.
То что программное обеспечение для переводов работает по предложениям, это не совпадение. «Для отдельных предложений количество возможных комбинаций вычисляется как количество слов на соответствующем языке в степени длины предложения. В одном предложении могут быть миллионы или даже миллиарды возможностей. Со всем документом вы попадаете в измерения, которые трудно представить даже с современными компьютерами», - объясняет Лейбли.
С другой стороны, Лейбли видит слишком мало амбиций в развитии более согласованных машинных переводов. «По крайней мере, первые 80 процентов этой проблемы, такие как собственные имена, можно было бы относительно легко решить. Но вряд ли кто-нибудь это сделает, - говорит он. - До сих пор не было стимулов для этого, потому что широко распространенные методы оценки игнорируют общий контекст».
Это должно срочно поменяться, по мнению Лейбли «Возможно, настало время перейти к оценке на уровне всего документа», - объясняет он.
Только тогда разработчики машинных переводчиков, вероятно, больше будут заботиться о контексте, так что в какой-то момент они могут догнать людей или даже превзойти их.
Однако, по словам Лейбли, это займет гораздо больше времени: «Я здесь осторожен, потому что многие надежды уже не оправдали себя в прошлом. В переводе обычных текстов компьютеры могут достигнуть уровня живых переводчиков всего за пять, десять или пятнадцать лет, но я не думаю, что в течение следующих 20 лет машины будут переводить все виды текстов, в том числе литературные, на том же уровне, что и люди».
