大模型学会写万字长文,AI 企业「波形智能」完成千万元 Pre

砍柴网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

近日杭州波形智能 科技 有限公司(以下简称 " 波形智能 ")已完成千万元级 Pre-A 轮融资。该轮由蓝驰创投领投,西湖科创投、蚂蚁金服董事长井贤栋、知名天使人费革胜、老股东藕舫天使跟投。

波形智能团队成员多有科班出身的 NLP 研究和海外背景,在长文本生成、Agent 框架能力、大模型微调与压缩等领域上具有一定技术积淀以及全球化的视野:

创始人兼 CEO 姜昱辰本科毕业于浙大竺可桢学院,博士就读于苏黎世理工大学,师从国际著名学者 Ryan Cotterell,曾在微软亚研院从事大语言模型的训练与推理。CTO 周王春澍,博士同样就读于苏黎世联邦理工大学,从事人工智能方向研究。CPO 万磊,腾讯出身,过亿月活 社交 APP 高级产品经理,多款 AI 产品创始人。联合创始人兼 COO 余腾,曾任美国上市公司掌门教育(ZME)联合创始人兼 营销 高级副总裁。

2023 年下半年以来,行业已经涌现了一批成功提升 " 记忆力 " 的大模型,模型上下文窗口从 32K,扩展到了一次能理解 40 万字左右文本的 200K。

让大模型读懂超长文本,逐渐不是难题;但让大模型像人一样写万字小说,并不简单。

由于内容规划(如何从输入的数据中选择重要信息)和表层实现(用自然语言形式正确地描述重要信息)仍是难以攻克的难题,生成连续、连贯的长文本尚难以实现。

与此同时,理解和生成长文本对算力和内存提出了更高的要求。波形智能 CEO 姜昱辰告诉 36 氪,大语言模型主流采用的是 Transformers 架构,但缺点在于,其在处理长序列时会面临计算和存储的需求挑战,文本越长,循环次数越多,算力和内存成本会平方级上涨。

对此,波形智能主攻内容创作垂域的长文本生成,于 2024 年 1 月 29 日的技术开放日上发布了一款能生成长文本的大模型: 内容创作垂域 SOTA 大模型 "Weaver"

为了在控制成本的情况下做到无限长文本生成,波形智能曾在 2023 年 5 月发表了名为 RecurrentGPT 的训练范式。姜昱辰介绍,在实际测评中,RecurrentGPT 在比 GPT-4 的文本生成速度快三倍的情况下,书写的效果还要更出色。

通过适配 RecurrentGPT 框架, Weaver 具备更强的长文本生成能力,在长文本和结构化文本生成的上下文一致性上提高了 40%。相较于 2 倍量级参数规模的模型,Weaver 系列模型的生成速度更快且效果更好。

大模型学会写万字长文,AI 企业「波形智能」完成千万元 Pre 基于《繁花》风格,Weaver(右)与 GPT-4(中)生成效果的对比。图源:波形智能

应对模型 " 一本正经胡说 " 的幻觉问题,Weaver 也有了新的解法。2023 年 9 月,波形智能还设计了基于 SOP(标准操作流程)的 Agent 架构:AIWaves Agents。通过对创作文本的过程进行模拟,Agent 会根据撰写的题材自主判断什么时候进入剧情设定、角色设定、文风设定等不同阶段,以及不同阶段需要调取什么样的知识库。

与 AIWaves Agents 框架适配后,Weaver 还支持函数调用,拥有超过 1000 个 API 上的综合训练经验,能够实现根据用户意图自动理解、规划复杂指令,执行文件处理、数据分析、图表绘制等复杂任务。

更重要的是,要让模型在内容创作领域落地,就必须要让机器写作更有 " 人味 "。

为此,针对模型预训练阶段,波形智能自研了一套自动标注系统 "Instruction Back Translation(指令回译)",确保输出结果是由专业写手产出的内容。

针对对齐阶段,波形智能自研的对齐技术 "Constitutional DPO(根据法则的直接偏好优化)",能够以专业写作方法论为度量标准,指导对齐数据的自动生成。

此外,相较于通用大模型,Weaver 还支持个性化知识库的调用。通过利用自研向量数据库生成原生(native)个性化模型,Weaver 将召回内容的利用率(指的是召回内容能被输出内容有效利用的比例)提高 50%。通过 RAG(检索增强生成技术)+ 仿写的技术方案,Weaver 将 " 越写越懂你 ",逐步实现个性化的内容生成。

相较于通用大模型,Weaver 能够在更深更广的创作垂直领域落地。目前,Weaver 支持写大纲、续写、润色、风格迁移等 10 类写作任务,覆盖爽文 / 小说、工作总结、营销写作等 30 多个领域。

在技术开放日上,波形智能还推出了由 Weaver 驱动的 AI 辅助创作工具 " 蛙蛙写作 1.0"。

这款面向专业作者、 自媒体 / 文案创作者的 To C 生产力工具,为用户提供了模块化的功能。用户可以根据创作需求,一次性输出文本,或者按照大纲 - 章节的顺序分步写作。同时,蛙蛙写作的写作速度能够达到 10 分钟 1 万字

大模型学会写万字长文,AI 企业「波形智能」完成千万元 Pre 蛙蛙写作可生成情节和文本。图源:波形智能

目前,蛙蛙写作的 商业 模式主要为按月订阅,价格为 29 元 / 月。与此同时,蛙蛙写作也为企业提供定制化解决方案,并面向开发者开放了 API。

姜昱辰对 36 氪表示,融资款将用于 Weaver 大模型和 Agents 平台的研发及其商业化。她透露,2024 年第一季度,波形智能将发布 70B 的模型 Weaver Ultra-Max,以及新一代 Agent 平台 Agents2.0。针对剧本创作、私人客服、智能推荐等场景,Agents2.0 平台将支持对 Weaver 大模型的自动微调优化。

欢迎交流!

来源:36氪

随意打赏

提交建议
微信扫一扫,分享给好友吧。