OpenAI发布高级语言人工智能模型GPT-2，参数达7.74亿个

OpenAI于8月20日声称，它计划发布新一代GPT-2。GPT-2是一种高级语言人工智能模型，在今年2月发布后引发了社会热烈讨论。此次发布的版本包含7.74亿个参数，参数含量高于此前该组织在2月和5月为部分研究人员开发的版本。

OpenAI同时还公开了一份开源法律协议，为开发大型人工智能模型的公司拟定自己的模型共享协议提供了支持。完整的模型包含大约15亿个参数，目前尚未被发布，不过OpenAI表示，自2月份以来，他们已经与5家复制了该模型的组织进行了交涉。

同日，OpenAI的研究人员和哈佛大学的研究助理Ariel Herbert-Voss在一份白皮书中详细介绍了其对GPT-2的相关研究及其阶段性发布流程。

白皮书中还描述了OpenAI选择延迟发布GPT-2完整版本的原因。

“由于跨维度的性能——比如文本的一致性——会随着模型参数的增加而提高，我们决定不同时发布所有四个GPT-2模型，因为我们担心参数较高的模型会被滥用。以这种方式的发布，我们能够为风险分析留出时间，并从发布低参数的模型中总结经验，来调整对高参数模型采取的行动。”

OpenAI以担心恶意滥用和赝品仿制为理由，在今年2月GPT-2首次亮相时，选择不共享所有版本（共四个）的模型，在一系列任务上取得了优异结果。在训练中，GPT-2使用了40GB的互联网文本。

最初，有些人质疑OpenAI这样做法，他们表示，OpenAI未发布源代码，而这会对缺乏资源复制该模型或其作品的科学家及社会人士构成潜在威胁。

其他人则称这是OpenAI的宣传噱头。OpenAI最近从微软手中获得了10亿美元资金，并在今年3月改变了其非营利性的商业地位。

为了避免信息错误传播，OpenAI与安全专家合作，监控人们对GPT-2的使用，并“对自动检测、潜在偏见和误用进行了内部研究”。

为了继续挖掘潜在误用，以及更安全地发布像GPT-2这样的大型模型，OpenAI与俄勒冈大学、德克萨斯大学奥斯汀分校、米德尔伯里国际问题研究所以及康奈尔大学建立了合作关系。

比起探讨其潜在误用，白皮书讲述了GPT-2灵活运用现有案例的行为，包括帮助作者完成他们的工作、支持软件工程师完成代码自动化、升级聊天机器人以及回答关于健康的问题。

康奈尔大学的研究人员本月早些时候在《外交事务》杂志上发表的一篇分析文章指出，据统计，阅读GPT-2生成文本的人中，超过70%的人认为这些文本就像《纽约时报》的文章一样可信。

白皮书引用了艾伦人工智能研究所和Hugging Face NLP的交错发布方法，作为未来发布大型语言理解模型可能采用的方式。

在一篇附着了法律协议和白皮书链接的博客中，研究人员提出：“我们认为，将分阶段发布的形式和基于合作伙伴关系的模型共享形式相结合，很可能成为人工智能领域有责发布的关键基础，尤其是在大量模型发布的大背景下。”

“随着时间的推移，大型模型带来的固有问题将会增加，而不是减少。我们希望与GPT-2的合作将有助于为此提供证据，让人工智能社区在面对人工智能研究固有的出版挑战时有所借鉴。”

AD：还在为资金紧张烦恼吗？猎云银企贷，全面覆盖京津冀地区主流银行及信托、担保公司，帮您细致梳理企业融资问题，统筹规划融资思路，合理撬动更大杠杆。填写只需两分钟，剩下交给我们！详情咨询微信：zhangbiner870616