无人机帝国创新史：视觉导航团队的破茧、破界与破维

雷锋网 • 3小时前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

01 技术牛逼奖

2014年，大疆作为“空中的相机”已然成绩斐然。

精灵2相机、云台、图传技术成熟，精灵3视觉定位与悬停功能完善，极大提升消费级无人机实用性与易用性，彻底改变大众对无人机的认知，使航拍从专业小众走向大众普及。

然而，大疆创始人Frank心中仍怀揣着三大未竟的梦想，其中之一便是赋予无人机“眼睛”和“大脑”，使其能够在树林中自由穿梭，自动跟随用户拍摄，并能在遭遇障碍物时自主绕行。

这一设想，在当时看来近乎天方夜谭。

当年底，赵丛来到大疆时，毫无“正规军”的模样。

整个团队仅他一人带领3位实习生庞敏健、李睿、周游。

他们既没有独立的研发经费，也缺乏固定的开发环境，甚至连项目本身都未被列入精灵4（Phantom 4）的初始立项计划，更像是一个游离在核心业务之外的“边缘团队”。

团队面临的是从零开始的挑战。

在学术领域，当时计算机视觉（CV）的研究多集中于简单物体的短时跟踪，学者们比拼的是跟踪框（Bounding - Box）的像素级精度。

而对于一个空中机器人，需要在剧烈运动、遮挡、复杂光影变化下实现长时间稳定跟随（Long - term Tracking），并理解三维世界进行避障，几乎没有成熟方案可供参考。

从相机成像、目标识别与跟踪、芯片底层优化，到局部环境地图构建、实时导航决策以及整个数据与控制链路的调校，每一个环节都需要自主攻克。

更让团队感到压力的是来自大疆内部的质疑。

多数老同事都对他们持否定态度。

“已经有很多前人尝试过但做不出来，没必要瞎折腾。”

“GPS跟随就够了，视觉跟随搞不出来的，搞出来了也落不了地。”

这样的声音时常传入团队成员耳中。

在协调内部资源时，他们团队更是屡屡碰壁。由于项目不受重视，他们想要获取特殊版本的相机、飞控固件进行调试，都需要反复沟通。

“那段时间，我差不多是每个周末都四处请各个部门的同事吃饭，靠各种临时版本拼凑起来原型（机）。”

赵丛后来回忆起这段经历时，语气中仍带着一丝感慨。

即便面临重重阻力，赵丛始终坚信视觉跟随的意义。

他清楚地知道，GPS 跟随存在明显短板——目标的定位误差高达 10 米，这使得无人机只能在高空进行跟拍，无法满足用户近距离拍摄的需求；同时，被拍摄对象还必须随身携带遥控器，极大限制了使用场景。

而视觉跟随，不仅能将目标定位精度提升至像素级，摆脱被拍摄主体对遥控器的依赖，还有可能以被拍主体为中心实现更优的构图和运镜，甚至对运动目标实现像“刷锅”（环绕拍摄）等高难度运镜动作，而这些镜头即便是职业飞手用遥控器也难以实现的。

“面对未知的困难，倒没有焦虑，反而是一种对开拓创新的兴奋。”赵丛至今回忆起来，“没人做成过的事情才有意思嘛。”

2015 年中，一次偶然的机会成为了项目的转折点。

当时，赵丛和小伙伴们正在测试场地调教算法时，无人机稳定跟随着一名印度实习生模特，全程 10 分钟无人工干预，这一场景恰好被Frank看到。

正是这短暂的演示，让Frank意识到了该技术的潜力，“跟随避障” 特性自此正式被纳入大疆下一代核心产品——精灵 4 的研发计划中。

随之而来的，是团队发展的重要机遇——赵丛团队获得了扩张的机会。他们从最初的 4 人小团队，逐步吸纳了算法工程师、嵌入式工程师、导航工程师等各类专业人才，包括封旭阳、钱杰、余俊峰、刘昂、胡骁、张立天等。

同时，Frank对项目进展高度关注，每一到两周都会亲自追问技术进度，查看整体效果。

“他对其他团队及其严苛，经常给出严厉甚至尖锐的批评；每次看我们的演示反而是罕见出现的包容和期待，给出的评价也都是以鼓励和建设性意见为主。”赵丛回忆道。

这种认可，让团队成员备受鼓舞，也为创新注入了更强的动力。

然而，原型的成功只是第一步，要实现产品化，还需解决无数细节问题。

对于无人机这类消费级产品而言，任何一次技术故障都可能引发严重后果：若出现跟错目标的情况，可能对人员造成安全威胁；若避障功能失效，则会导致无人机碰撞损坏。

因此，团队必须将不可预测行为的风险降至最低。

为攻克障碍物预测难题，团队在空旷场地搭建了临时测试场，用篮球架、围栏等物品模拟树林、路灯、岩石等复杂空中障碍环境，进行高强度的调试。

在漫长的调试周期里，无人机碰撞损坏成为常态。

“那几个月基本没有休过周末，不记得撞坏了多少架无人机，维修部修到崩溃。”赵丛笑着回忆道。

每一次碰撞，团队都会仔细分析故障原因，优化算法参数与控制逻辑，逐步提升系统的稳定性与可靠性。

经过无数次的调试与优化，赵丛团队终于攻克了全世界AI和机器人领域尚未解决的长时间目标识别跟踪和遮挡恢复难题，并通过双目深度计算建立局部3D地图和自主规划路径，实现了障碍物的主动绕行。

这意味着，无人机首次具备了在复杂动态环境中，长时间稳定跟踪目标并自主规避障碍的能力。

后来，他们回忆道：“他们做得事，类似于几年后兴起的自动驾驶，无人机时刻面对的是动态变化的目标、局部可见的障碍物、实时变化的预测和决策，以及对事故的几乎零容忍。”

当时，行业内也有其他企业在尝试探索类似的问题。

在2016年初，Intel就展示过其室内无人机跟随方案，但该方案更像是一场“实验室演出”——整个房间布满VICON传感器，无人机仅能执行预设的固定动作，毫无适应真实复杂户外环境的可能。

行业内人士评价：“和当今很多具身智能一样，是自动化，并不具备什么智能”。

就在2个月后的2016年3月，在美国纽约，大疆正式发布新一代消费级无人机——精灵4。

发布会上，演示画面中，精灵4无人机一路跟随跑者、滑板玩家、跑酷冠军，以流畅优雅的姿态避开沿途的岩石、路灯等障碍物，并自动完成环绕运镜、一键生成短片，全场为之震撼。

精灵 4 的发布迅速引爆全球市场。

在 YouTube 平台上，相关演示视频的在线观看人数突破 500 万，无数明星、网红将其视作时尚单品，纷纷在社交平台分享使用精灵 4 拍摄的作品。

《财富》杂志更是将大疆誉为 “无人机行业的苹果”。作为全球首款具有视觉能力的消费级机器人产品，精灵 4 上市后销量迅速突破百万台，为大疆带来超百亿元营收，成为精灵系列的经典收官之作。

凭借这一突破性技术成果，该技术创新成为大疆 2015 年度研发部最主要的关键性技术突破，赵丛作为开创者和技术总负责人获得了 “技术牛逼奖”—— 这也是大疆首次设立此项奖励。

而创始人Frank更是将精灵 4 形容为 “自己迄今为止最满意的产品”。

他在发布会上张开双手向外界宣告：“欢迎来到机器视觉时代。” 与此同时，大疆悄然将自身的定位描述从以往的 “ Flying Camera ”（飞行相机）转变为 “ Flying Robot ”（飞行机器人），标志着无人机行业正式迈入智能时代。

伴随着不断涌现出的创新，大疆也迎来了高速发展的 5 年，估值从 100 亿人民币上涨到了 200 亿美金。

而创新的价值，从来不是一蹴而就的光鲜，而是在无人问津时的坚持，在重重质疑下的突破，最终让看似不可能的梦想，照进现实。

赵丛回忆说，“大疆拥有非常好的创新土壤，整个公司非常低调务实且崇尚和鼓励创新，当时这样的氛围十分浓烈”。

02 端侧AI时刻

精灵 4（Phantom 4）的成功，并未让赵丛团队停下创新的脚步。

在消费级无人机市场，用户对产品的便携性、智能化提出了更高要求 —— 既需要更小巧便携的机身，又渴望强大的 AI 功能。

这一趋势推动着团队向更复杂的技术领域发起挑战，而大疆 Mavic Pro 这款产品意外成为了 AI 学术界、芯片界、智能硬件界首次跨界碰撞的载体，大疆本身，也悄然连接了三个原本平行的世界。

2016 年，计算机视觉领域最顶级的会议 CVPR 在美国拉斯维加斯举办。

与以往不同，这一届会议的赞助商名单中，出现了大疆的名字。其参展展位被安排在 Apple、Intel、Microsoft 和 Google 等科技巨头之间。

展会期间，大疆展示区始终人头攒动。

李飞飞、何恺明等 AI 学术界大牛纷纷驻足，他们的惊讶源于两点：

一是无人机竟能实现如此高程度的智能化；

二是大疆居然将深度学习技术成功部署在了消费级无人机的端侧芯片上。

在当时的行业环境中，顶级智能硬件厂商如苹果、特斯拉都尚未推出成熟的 AI 产品，深度学习技术多运行在服务器端，普通消费者对 “端侧 AI” 的概念更是闻所未闻。

这种跨界碰撞的背后，是赵丛团队面临的极端技术难题。

Mavic Pro 所搭载的芯片为联芯 LC 1860，单核心算力仅为 1.2GFlops ，尚不如当今主流智能硬件端侧芯片算力的 1/3000，在如此有限的硬件资源上实现深度学习应用，意味着必须在算法优化、神经网络设计、模型训练技巧等方面做到极致。

有了之前在精灵 4 上探索卷积神经网络（CNN 模型）小型化的经验，赵丛和伙伴们开始了针对更多 CV 任务进行端侧部署的尝试。

随着一批新人骨干张李亮、李思晋、李尧、许旌阳、朱高等的加入，团队开始在算法层面，对各个任务进行网络结构的设计、裁剪、蒸馏训练、以及 8 位定点量化，在保证识别精度的前提下，最大限度降低模型体积与计算量；

其次在芯片适配层面，他们建立了 “模型设计 - 训练 - 量化 - 芯片适配” 的联合开发和调试流程，每一步都与芯片底层加速指令深度结合，避免算力浪费；

最终，他们成功在 1.2GFlops 的 32 位 ARM 处理器上，实时运行 100KB 参数量、50MFLOPS 计算量的目标检测识别和人体姿态识别模型，实现了无人机手势拍照控制功能，让用户仅通过特定手势，就能触发拍摄指令。

Mavic Pro 的技术突破，不仅改变了消费者对无人机的认知，更引发了行业连锁反应。芯片厂商首次意识到，消费级硬件芯片竟能承载如此丰富的 AI 应用场景。

当时芯片设计领域的前辈、IEEE Fellow、Candence 和 Tensilica 公司创始人Chris Rowen，专程从美国飞来深圳约见赵丛，探讨端侧 AI 芯片的发展方向 —— 这一交流，也间接推动了后续消费级 AI 芯片的技术迭代。

除手势控制外，团队还在 Mavic Pro 上攻克了另外两大技术难题：

其一为精准降落功能：利用 SLAM 回环检测技术，结合向量词库匹配算法，实现了厘米级误差的自主返航降落，解决了传统 GPS 降落精度不足的问题；

其二为超远距离避障：通过优化目标跟踪算法，让无人机可识别并避开 1 公里外的高山及建筑，攻克了此前无人机 “近视眼” 的行业痛点。

市场层面，Mavic Pro 同样取得了巨大成功。它不仅登上《时代》周刊年度最具影响力产品榜首，还被媒体评为 “史上最智能无人机”。上市后，Mavic Pro 销量迅速突破百万台，为大疆带来 180 亿元营收，成为继精灵 4 之后，又一款现象级产品。

这场 AI、芯片、智能硬件的跨界碰撞，不仅让 Mavic Pro 成为经典，更开创了消费级智能硬件的 “端侧 AI” 时代——它证明，即便在有限的硬件资源下，通过技术创新，依然能让复杂的 AI 功能走进普通人的生活。创新的裂变，往往始于对 “不可能” 的挑战。当不同领域的技术壁垒被打破，碰撞出的火花，便会照亮整个行业的前行方向。

03 那时的具身智能

Mavic Pro 的成功，让 “端侧 AI” 成为消费级无人机的新标配，但赵丛团队并未止步于已有的突破。在 2017 年初大疆第一代自研芯片流片成功后，Mavic Air 项目启动。

赵丛提出了一个更激进的目标：

通过AI实现完全脱离遥控器的全手势操控，让无人机成为真正意义上的 “空中自主机器人”—— 用户无需任何额外设备，仅凭手势就能完成从起飞、飞行控制、拍摄到降落的全流程操作，让 Mavic Air 像一只随时听候调遣的宠物。

这一目标，相当于在无人机领域要实现空中的 L3 级别自动驾驶，其技术难度与安全要求远超此前所有产品。

“当时也是受 Mavic Air 产品经理的一句话之托，希望给产品增加一些亮点，我感觉这个轴距的机型，从定位上除了飞高飞远拍风景以外，非常适合近距离用户交互。而且这几颗 CEVA DSP 不用来做些酷炫的新功能很可惜。”赵丛回忆道。

当时距离 Mavic Air 计划发布仅剩 9 个月，而团队面临的不仅是时间压力，还有硬件层面的全新挑战。

此次 Mavic Air 搭载的是大疆第一代自研芯片，搭载了 4 颗 CEVA DSP ，每个核心的 16 位定点计算能力是 30 G FLOPS。虽然与联芯 LC 1860 相比有了较大的算力提升，但想要达到全自主飞行的精度仍然十分捉襟见肘。

CEVA 官方只提供了Google Inception v2/v3 的参考模型，用作图像分类，而且也只能跑到 30 %左右的 MAC 利用率。“这哪够用，我们要跑一堆 AI 模型，那我们自己重写工具链吧！”

赵丛回忆道，“我们没有选择等待更高算力芯片的问世，而是决定从软件层面挖掘硬件潜力。”

要在这样的硬件基础上同时运行 6 个 AI 模型，支撑全手势操控的复杂需求，团队必须在芯片优化与算法设计上实现三重突破：

首先要解决的是算力瓶颈。

他们对自研芯片中的 2 颗 CEVA DSP 核心进行了彻底的软件重写，通过重构指令集、优化数据流转逻辑，将 16x16 的MAC 单元拆成 2 个 8x8 的 MAC 单元来使用。这一改造不仅让芯片的理论算力提升 2 倍，更关键的是，通过算法和芯片的紧耦合协同设计，将算法利用率提高了 8 倍，最终使芯片的 MAC 利用率达到了恐怖的 97% ——这意味着每一分算力都被精准利用，几乎没有浪费。

其次是AI算法。

全手势操控对识别精度的要求极高，任何微小的误差都可能导致操作失误，且由于脱离了遥控器，系统甚至没有机会提醒用户介入修正。

甚至用户可能会期待他在 0.5米～10 米的范围内的所有交互动作都可以被无人机识别和响应。

为解决这一问题，需要高精度且实时的运行 6 个 AI 模型：近身头肩检测识别、远场全身检测识别、近身头部跟踪、远场全身跟踪、人体关节点、手部手势识别。为了避免定点量化造成的模型精度损失，他们研发了 8 位无损训练技术，通过将定点量化纳入训练环节，保证了 8 位定点与 32 位浮点的模型误差在 0.1‰ 以内，既满足了实时性需求，又确保了手势识别的准确性。

与此同时，导航控制方面的开发也在同步推进。

“用户的手部动作太多太丰富了，这和之前精灵 4 的跟拍完全不一样。你需要面对，哪些是用户有意识的召唤和控制，哪些是无意识的抓耳挠腮，哪些是主人的动作，哪些可能是其他人错位而构成的干扰，哪些情况是 AI 观测失效需要导航控制加强预测，哪些情况是 AI 观测误报需要过滤。跟得太紧了，飞机的动作太猛会吓到围观的人，跟得太松了，主人会觉得它笨得像熊。”

赵丛笑着说道，“2017 年还没有端到端、VLA 的概念，每个细节都是一行一行代码，一个一个参数调教出来的。甚至连交互的设计、指示灯的闪烁，Frank只提了一个要求，就是要让用户不看说明书的情况下凭直觉就可以操作“。

经过 9 个月的极限攻关，团队最终在 Mavic Air 上实现了预设目标：

用户只需伸出手掌，无人机即可通过手势识别完成起飞；在 0.5 米～ 10 米范围内，通过挥手、推拉、旋转等动作，就能精准控制无人机的飞行方向、距离与高度；拍摄时，一个简单的手势即可触发拍照或录像；任务结束后，手势指令又能引导无人机平稳降落。

整个过程无需任何额外设备，完全依靠无人机自身的视觉感知与 AI 决策完成。

这一技术突破的意义，远超产品本身。

直至 2025 年的今天，业界多数具身智能相关研发仍依赖遥控器进行辅助控制，而 8 年前的 Mavic Air 的全手势操控，首次证明了消费级机器人可以实现真正意义上的 “自主交互”。

此后，各国政要来大疆参观考察时，全手势操控成为必看的代表性功能——它用最直观的方式，展现了机器视觉与 AI 技术融合的可能性。

市场反馈同样印证了技术的价值。Mavic Air 不仅再次登上《时代》周刊年度最具影响力产品榜首，延续了 “史上最智能无人机” 的口碑，更在商业上取得巨大成功：上市后迅速成为 2018 年消费级无人机销冠。

在 Mavic Air 上推出的 “一键短片” 功能，包含 “小行星”“彗星” 等创新模式，通过 AI 算法自动规划飞行轨迹与云台姿态，让普通用户也能轻松拍摄出电影级的短视频，进一步拓宽了无人机的应用场景。

从技术层面看，Mavic Air 的全手势操控为具身智能的发展提供了重要启示：

在硬件资源有限的情况下，通过算法与芯片的深度协同优化，依然能实现高复杂度的自主交互功能。它证明，具身智能的核心并非单纯依赖高算力硬件，而是在于对 “感知 - 决策 – 控制” 全链路的精准把控，以及对用户需求的深度理解。

大疆团队在 Mavic Air 项目中展现的，不仅是技术创新能力，更是对 “极限挑战” 的掌控力——在有限的时间与资源下，将看似不可能的目标转化为现实，这正是创新最核心的价值所在。

04 6000份简历的1/2

2017-2018 年的两年间，赵丛团队进入了创新井喷期。

在精灵 4、Mavic Pro、Mavic Air 之外，团队还在 Spark、自动驾驶、Mavic Pro 2、Robomaster、农业无人机 T16 等领域持续保持创新和突破。

据称，大疆每年年终总结全年诞生的两三项最重要的突破创新中，就有一两项是来自于这支视觉导航团队。

“2015 年在招募算法工程师的时候，被问到最多的问题是‘大疆要做视觉用来干什么’。2016 年被问到最多的是‘大疆要做深度学习用来干什么’，后来这些问题就消失了。我记得到了 2018 年的校招，整个研发部收到的约 6000 份简历当中，有大约 3000 份是投向了机器学习工程师的岗位。那个阶段大疆在 AI 相关领域的众多企业中，是领跑者的存在。”赵丛回忆道。

这一时期，随着陈晓智、陈竞、刘政哲、潘为、潘绪洋等新一批技术骨干的加入，创新开始在大疆的各个产品线遍地开花：

从无人机，到手持云台相机、自动驾驶、Robomaster 机甲大师、农业喷洒无人机等等。

2017 年，大疆的视觉团队面临一个残酷现实：无人机仍是极客玩具，从未真正“破圈”。

赵丛团队决定向“繁琐”开刀。他们推出的 Spark 不像无人机，倒像一款智能宠物——用户托掌即起飞，挥手能操控，点击可出片。背后是毫秒级的人脸识别、CNN 手势算法和 95% 以上的交互精度。它用“一键短片”干掉 99% 的飞行学习成本，第一次让小白用户拍出电影感镜头。

但这只是开始。

一年后，Mavic 2 Pro 把跟踪算法碾到了新高度。它不仅看得见目标，更能预测运动、绕开障碍，甚至在目标消失后仍能智能续追。真正破圈的是“一键短片”。用户不用学任何飞行动作，只要点一下，Spark 就能自动完成渐远、环绕、螺旋等电影运镜，生成 10 秒短视频。它降低了创作的门槛，也重新定义了消费级无人机的交互标杆。

同年，大疆杀入农业。T16 植保机搭载的视觉系统，能在 1 分钟内扫描200亩地，精准识别每一棵果树、电线杆和水塘，还实现了“哪儿有树飞哪儿，没树不飞，高树高飞，低树低飞”。有数字显示，这款农机将农药成本压降 30% ，作业效率提升 5 倍，可以说真正用机器视觉重新定义了“精准农业”，也是大疆技术从天空走向土地，从创作走向生产的一个例子。

2019 年，技术落地教育。RoboMaster S1 机器人配备31个传感器，能识别人、标签、手势甚至掌声，支持从 Scratch 到Python的无缝编程过渡。它让高中生也能亲手搭建一台真正具有视觉能力的 AI 机器人。

实际上，在创新高歌猛进的两年里，也有难题。

赵丛讲述，当时团队面临的已不仅是技术问题，而是急剧增长的碎片化需求，倒逼团队在 2018 年中拆分为机器学习部，更聚焦于 AI 底层突破。

从 Spark 到 T16 ，这支最初 4 人的小组推动大疆从“飞行相机”蜕变为“飞行机器人”。而这些突破，也悄悄为后日的大疆埋下伏笔：后来大疆孵化的许多创业项目，都源自这个阶段积累的视觉基因。