Открыт исходный код Switch Transformer

Исследователи из Google Brain открыли исходный код Switch Transformer, модели искусственного интеллекта для обработки естественного языка (NLP). Модель сокращает время обучения до 7 раз по сравнению с моделью T5 NLP со сравнимой точностью.

Команда описала модель в статье, опубликованной на arXiv. Хотя Google не выпустил коэффициенты модели для Switch Transformer, код доступен на GitHub.