|
|
|
|
|
|
|
|
|
|
BERT - языковая модель от Google (часть 2) |
|
|
 Идея в основе BERT лежит очень простая: давайте на вход нейросети будем подавать фразы, в которых 15% слов заменим на [MASK], и обучим нейронную сеть предсказывать эти закрытые маской слова.
Например, если подаем на вход нейросети фразу "Я пришел в [MASK] и купил [MASK]", она должна на выходе показать слова "магазин" и "молоко". Это упрощенный пример с официальной страницы BERT, на более длинных предложениях разброс возможных вариантов становится меньше, а ответ нейросети однозначнее.
А для того, чтобы нейросеть научилась понимать соотношения между разными предложениями, дополнительно обучим ее предсказывать, является ли вторая фраза логичным продолжением первой. Или это какая-то случайная фраза, не имеющая никакого отношения к первой.
Так, для двух предложений: "Я пошел в магазин." и "И купил там молоко.", нейросеть должна ответить, что это логично. А если вторая фраза будет "Карась небо Плутон", то должна ответить, что это предложение никак не связано с первым.
Обучив таким образом нейронную сеть на корпусе текстов из Wikipedia и сборнике книг BookCorpus в течении 4 дней, получили BERT.
The Oxford University Standard for Citation of Legal Authorities (OSCOLA) — это руководство по стилю, которое обеспечивает современный метод юридического цитирования судебных дел, законопроектов, книг и журналов. |
Жасанды интеллект (AI) футуристік ұғым болудан қалып, күнделікті өмірдің ажырамас бөлігіне айналды. Медициналық диагностикалық жүйелерден жекелендірілген әлеуметтік медиа ұсыныстарына дейін AI технологиялары әлемді өзгертеді. Оның ықпалы ерекше байқалған саланың бірі аударма ісі болды. Дегенмен, АИ-нің қарқынды дамуы тек ынта ғана емес, сонымен қатар алаңдаушылық тудырады. Жаңа технологиялар қандай мүмкіндіктер ашады және аудармашыларға қандай қауіп төндіреді? |
Статистика бюро переводов по наиболее популярным языкам и направлениям переводов за октябрь 2024 года. Европейские языки в России исчезли, остались азиатские и восточные.
|
В индустрии локализации существует обеспокоенность по поводу того, что искусственный интеллект сделает работу переводчиков ненужной. |
Можно ли отличить роман Диккенса от Фолкнера или Хемингуэя от Теккерея, если убрать из книг все слова и оставить только знаки препинания? Оказывается, да. |
Сколько новых слов, в большинстве своем непонятных основной массе людей, появилось в модной технологии блокчейна (blockchain technology). Что это такое - новая технологическая революция или просто новый способ заработать, выдав "фишку" за технологию? |
Специалисты Facebook, работающие в лаборатории Facebook Artificial Intelligence Research Lab (FAIR), приняли решение об отключении нейронной сети, которая создала собственный язык на основе английского. Данное решение было вызвано ошибкой, которую специалисты обнаружили не сразу. |
Посетители Лондонского музея дизайна могут увидеть в эти дни необычную скульптуру, представляющую новую модель спортивного Jaguar XE в виде "облака слов". |
В Ненецком автономном округе работают над созданием специального раздела для ненецкого языка в популярной интернет-энциклопедии "Википедия". |
Показать еще
|
|
|
|
|
