维其互联 > 信息聚合 > 首个万亿级模型:谷歌推出语言模型 Switch Transformers,1.6 万…

首个万亿级模型:谷歌推出语言模型 Switch Transformers,1.6 万…

2021-01-13 23:08:04来源: IT之家

众所周知,参数量是机器学习算法的关键。在大规模参数量和数据集的支持下,简单的体系结构将远远超过复杂的算法。在自然语言领域,被称为史上最强 NLP 的 GPT-3 拥有 1750 亿参数。近日,Google 将这一参数量直接拉高到了 1.6 万亿。1 月 11 日,Google 在 arXiv 上发表论文《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》,提出了最新语言模型—Switch Transformer。研究员介绍称,Switch Transformer 拥有 1.6 万亿参数,是迄今为止规模最大的 NLP 模型。论文中指出,Switch Transformer 使用了稀疏激活(Sparsely Activated)技术,该技术只使用了神经网络权重的子集,或者是转换模型内输入数据的参数。

标签: Wi 谷歌 Switch
免费发布分类信息