Новости переводов
Москва,
ул. Барклая, 13, стр. 2
+7 495 504-71-35 с 9-30 до 17-30
info@flarus.ru | Заказать перевод


Презентация компании
Расчет стоимости перевода






BERT - языковая модель от Google (часть 2)

Идея в основе BERT лежит очень простая: давайте на вход нейросети будем подавать фразы, в которых 15% слов заменим на [MASK], и обучим нейронную сеть предсказывать эти закрытые маской слова.

Philipp Konnov
07 Марта, 2023

машинное обучение, BERT

Например, если подаем на вход нейросети фразу "Я пришел в [MASK] и купил [MASK]", она должна на выходе показать слова "магазин" и "молоко". Это упрощенный пример с официальной страницы BERT, на более длинных предложениях разброс возможных вариантов становится меньше, а ответ нейросети однозначнее.

А для того, чтобы нейросеть научилась понимать соотношения между разными предложениями, дополнительно обучим ее предсказывать, является ли вторая фраза логичным продолжением первой. Или это какая-то случайная фраза, не имеющая никакого отношения к первой.

Так, для двух предложений: "Я пошел в магазин." и "И купил там молоко.", нейросеть должна ответить, что это логично. А если вторая фраза будет "Карась небо Плутон", то должна ответить, что это предложение никак не связано с первым.

Обучив таким образом нейронную сеть на корпусе текстов из Wikipedia и сборнике книг BookCorpus в течении 4 дней, получили BERT.

Поделиться:


Прислать свою статью Наиболее читаемые Архив
метки: #Wikipedia #Google #обучение #модель #нейросети #нейросеть #BERT #машинное обучение


Что обозначают имена героев «Голодных игр» в переводе? 12256

Если вы видели фильм или читали книгу, то знаете, что «Голодные игры» - мрачная история борьбы за выживание в постапокалиптическом мире. Большая часть повествования происходит в диких лесах, и, видимо, не случайно имена некоторых персонажей фильма представляют собой замечательную этноботаническую коллекцию.


"Свадебная" викторина

Каждый третий участник получит по почте сувенир от нашего бюро переводов.


23 февраля Google отключил нейросеть Gemini 1866

Три недели назад Google запустил функцию создания изображений людей для диалогового приложения Gemini (ранее известного как Bard). Некоторые из созданных изображений оказались оскорбительны и Google временно приостановила создание изображений людей в Gemini.


Начнет ли ИИ писать тексты, и что это будет за контент? 1650

В сети постоянно идут обсуждения различных моделей искусственного интеллекта, приводятся почти одни и те же примеры работы алгоритмов: ответы на вопросы, написание статей, сдача экзаменов и др. Есть мнения, что алгоритм начнет делать за человека очень многое и последнему работы не останется. Выскажу на счет этого свое мнение.




BERT - языковая модель от Google 1005

BERT — это нейронная сеть от Google, показавшая результаты на целом ряде задач. С помощью BERT можно создавать программы для обработки языка: отвечать на вопросы, заданные в произвольной форме, создавать чат-ботов, автоматические переводчики, анализировать текст и так далее. BERT — это в первую очередь языковая модель, а не чат-бот.


В Великобритании начинается крупнейший в мире эксперимент по проведению четырехдневной рабочей недели 1525

В нем примут участие более 70 компаний и 3300 человек. Начиная с 6 июня в течение следующих шести месяцев сотрудники компаний-участников будут работать 80% своего рабочего времени, получая ту же заработную плату. Ожидается, что сотрудники будут поддерживать тот же уровень производительности в соответствии с моделью "100:80:100" – сотрудники получают 100% своей зарплаты, работая 80% своего предыдущего графика, поддерживая 100% своей предыдущей производительности.


Natural language processing (NLP) - что это такое? 1277

Способность компьютера распознавать значение человеческого разговора (или "естественного языка" - Natural language).


Блокчейн (blockchain), криптовалюты, токены 2252

Сколько новых слов, в большинстве своем непонятных основной массе людей, появилось в модной технологии блокчейна (blockchain technology). Что это такое - новая технологическая революция или просто новый способ заработать, выдав "фишку" за технологию?


20 фраз из языка жестов, которые демонстрируют итальянские мужчины-модели 3768

Видео, которое поможет освоить пару десятков выражений на языке жестов в переводе с итальянского языка.


Google, Wikipedia и Mozilla провели день интенсивного перевода на язык майя 2755

Крупнейшие интернет гиганты Google, Wikipedia и Mozilla провели провели день интенсивного перевода собственных платформ на язык майя, который находится на втором месте по распространенности у коренного населения Мексики.



Показать еще



شركة ترجمة Бюро за преводи Бюро перакладаў 翻译社 Překladatelská kancelář Übersetzugsbüro Oversættelse bureau Translation and Proofreading Services Agencia de traducciones Käännöstoimisto Бюро переводов Фларус, Москва Agence de traduction მთარგმნელობითი ბიურო Γραφείο μεταφράσεων अनुवाद एजेंसी Prevodilacki biro Fordítóiroda Penerjemahan Biro Agenzia di Traduzioni 翻訳代理店 번역 회사 Аударма бюросы Орчуулгын товчоо Biuro tłumaczeń Agência de tradução Birou de traduceri Преводилачка агенција Prekladateľská agentúra Агентии тарҷумонӣ Tercüme Bürosu Бюро перекладів Văn phòng phiên dịch
Последний наш перевод:
"Научная статья по драматургии / Scientific article on dramaturgy", Лингвистика и филология

метки перевода: исследование, параграф, заключение.

Переводы в работе: 106
Загрузка бюро: 59%

Поиск по сайту:



第十二届世界俄语大会将在上海举行


Google займется переводами патентов на 28 языков Евросоюза


Google Translate Adds Conversation Mode


Таксистов в Москве обяжут пройти аттестацию на знание русского языка


Добровольцы-переводчики помогут Google перевести медицинские статьи для Википедии



Новые правила белорусской орфографии предусматривают написание слова "Президент" с заглавной буквы



В Великобритании в школе для иностранцев первоклассникам закупают электронные переводчики


Подписка на рассылку
избранных новостей
(~1 раз в месяц)



Экспорт контента сайта на системе Liferay
Подготовка контента сайта для перевода на другой язык, локализации и создания языковой версии сайта. Процедура экспорта контента сайта, формат файлов экспорта. Стоимость перевода сайта.



Глоссарий железнодорожных терминов и сокращений
Глоссарий железнодорожных терминов и сокращений



"Литературная" викторина








Компания

О бюро переводов
Письменный перевод
Локализация сайтов
Редактирование
Вычитка носителем языка
Примеры переводов
Вакансии
Контакты



Бюро переводов Фларус
© 2001-2024

Проекты

Работа для переводчиков
Новости переводов
Поздравления с переводом
Разговорник
Глоссарии и словари
Шаблоны переводов
Выставки в Москве

Контакты

Россия, Москва,
ул. Барклая, 13, стр. 2
схема проезда

Телефон:
+7 495 504-71-35

Заказ: info@flarus.ru