AI+时代，Zilliz Mega强势突破数据处理边界

2019年5月8日-10日，第十届中国数据库技术大会(DTCC2019)在京隆重召开,Zilliz受邀参加并荣获“年度创新企业奖”，并发布了业界首个GPU加速AI数据中台产品——Mega。创始人兼CEO星爵表示，Zilliz的AI数据中台Mega使用GPU处理器将数据ETL、数据仓库、模型训练、推理和部署等多个流程进行融合和加速，打破了人工智能和数据处理之间的分界和壁垒，提供GPU加速的一站式AI数据科学解决方案。Zilliz团队坚持独立自主研发，在经历了1096个日夜的研发攻坚后，终于推出了Mega数据中台产品。正是因为Zilliz人前瞻的产品格局及创新的技术追求，从众多数据库厂商中脱颖而出，在“2019中国数据库技术年度评选”过程中受到了评委会的一致高度认可，被评为“年度创新企业”。

DTCC 2019的主题是“数据风云，十年变迁”，中国数据库十年间，技术领域百舸争流，不乏引路者、追随者与开拓者。Zilliz 自2016年成立以来，始终坚信随着AI在全球各行业落地的进一步深化和应用数据量的飞速增长，数据ETL、数据仓库和海量特征向量检索等数据处理流程势必将无限简化易用，所以潜心坚守独立自主研发，从独创国内新一代异构众核加速数据库系统Mega到打通人工智能端到端数据中台系统（Mega），可谓“挑灯三年磨一剑，只为一朝试锋芒”。

图：Zilliz 创始人兼CEO 在DTCC2019大会发表演讲

GPU加速AI数据中台Mega于2019年上半年正式开放商用，下图是Mega系统架构展示。

图：Mega系统架构图

依托GPU的强算力，Mega实现了将所有资源，包括计算资源和存储资源的统一管理与调度。目前共包含四大核心产品：

● MegaETL：GPU加速ETL。大量的数据ETL耗时巨大，占用了AI科学家和工程师太多时间和精力。而大多数数据提取和转换过程本质上却是可以通过并行处理进行加速的。MegaETL依托GPU强大的并行运算能力，加速数据转换和清洗的过程，能将数据ETL处理的时间减少50~60倍。

● MegaWise：GPU加速数据分析引擎。MegaWise是基于GPU硬件加速的新一代OLAP处理引擎，突破了数据分析中计算能力和存储带宽两大瓶颈，和主流CPU数据处理引擎相比，查询性能提升100倍以上，硬件成本和运维成本降低10倍。

● MegaLearning：大数据资产AI赋能。在过去的十年间，很多企业都构建了大数据系统，在其上积累和存储了大量的数据资产。MegaLearning帮助用户直接在已有的大数据系统（如Hive和Impala等）之上进行机器学习和深度学习的训练，打通底层数据资产、大数据系统和AI训练系统之间的隔阂。MegaLearning自动为AI科学家解决数据预处理、数据缓存和调度等任务，使得他们能用直接、便易的方式将AI训练和推理任务构建在现有的大数据系统之上，让AI科学家专注于AI建模、调优和调参，能帮助他们节省8成以上的程序开发工作量。

● MegaSearch：GPU加速海量特征向量匹配和检索引擎。特征向量是深度学习对数据仓库和数据分析领域提出的全新数据类型，是现代图片分析、视频分析、NLP和语音分析等的基石。在实际部署中，海量特征向量匹配和检索的速度及准确度往往是决定AI模型落地效果和可用性的关键。MegaSearch依托GPU加速，提供极速特征向量匹配以及多维度数据联合查询（特征、标签、图片、视频、文本和语音等联合查询）功能，并且支持自动分表分库和多副本，能完美对接TensorFlow、Pytorch和MXNet等AI模型，可实现百亿特征向量的秒级查询。

伴随着AI、IoT、5G的大规模应用，我们将迎来更复杂多样的业务需求。Zilliz将始终专注打磨出更完备的GPU加速AI数据中台，服务不断增长的用户需求。