FATE开源社区发布联邦大模型FATE

当前，人工智能大模型已成为 科技 创新和数字 经济 领域的热点。科技部在2023中关村论坛上发布的《中国人工智能大模型地图研究报告》显示，中国人工智能大模型正呈现蓬勃发展态势。据不完全统计，截至目前，参数在10亿规模以上的大模型全国已发布了79个。

然而，大模型高速进程中面临的诸多问题也引发了业内关注。FATE开源社区技术指导委员会主席、香港科技大学讲席教授杨强指出：“即将消耗殆尽的公域数据，日趋高涨的隐私安全保护需求，以及众多异构小模型的整合需求，已成为AI  大模型发展之路上亟待突破的瓶颈。而联邦大模型正是解决这些问题的有效路径。”在此背景下，隐私计算联邦学习开源平台——FATE (Federated AI  Technology  Enabler)发布了“FATE-LLM联邦大模型”功能模块，以“联邦学习+大模型”的技术解决方案破局数据隐私保护与数据不足等问题，在各参与方的敏感数据不出本地域的前提下，根据各方实际数据量进行算力投入，联合进行大模型训练。

近期， 联邦大模型FATE-LLM最新版本发布，在横向联邦场景支持ChatGLM-6B中文语言大模型。 集成GLM的FATE   -   LLM 将会为国内用户提供更好的中文大模型应用落地选择。

GLM系列大模型由清华大学和智谱AI联合研发，其中ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于  General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署(INT4  量化级别下最低只需 6GB  显存)。开源两个月以来，ChatGLM-6B在全球开源软件平台GitHub上获得超过26万星，超过斯坦福同期模型的关注度和好评度，全球下载量超过200万，并连续两周登上全球开源大模型平台  Hugging Face大模型趋势榜榜首。

此外，FATE-LLM  新版本在横向联邦场景支持Adapter、Prompt这类高效聚合方法，可以显著提升联邦大模型训练效率，其中参数微调方法支持Lora以及P-Tuning  V2。而在框架层，FATE实现对DeepSpeed的集成，使得FATE-LLM支持多机多卡训练，支持分布式GPU集群资源调度和管理，支持数据、模型参数等不同并行化加速方法。用户只需要任务提交阶段直接增加配置即可享受到多机多卡的加速能力。

未来，支持中文大语言模型ChatGLM-6B联邦化训练的FATE-LLM将通过联合多家公司和组织，充分利用分散数据，融合联邦学习和人工智能生成内容(AIGC)相关技术，实现异构数据分布式安全训练。其中针对中文方面的优化，将为 金融 、教育、医疗等领域的应用带来更强大的支持，例如人工智能助手、智能问答、自然语言处理等场景将会得到进一步的效果提升。

清华大学教授唐杰表示：“作为科研人员，我们希望在开展大模型技术研究与应用落地的同时，也进一步降低人工智能的使用门槛，实现技术普惠，为行业良性发展做出一些贡献。”

饮其流者怀其源。开源不仅是一种技术选择，更是一种分享态度与沟通方式。开源平台和开源生态将助推大模型的快速迭代与落地应用。联邦大模型将大模型与隐私计算核心技术手段融合，使大模型的“野蛮生长”转向更加安全可靠的发展赛道，在提升AI通用性的同时不违背监管与伦理的要求，推进AI技术高质量发展。