基于Docker的京东大数据实时计算平台

基于Docker的京东大数据实时计算平台

文 | caishize

JRC用户需求多样复杂,用户要求的资源配置也大小不一,系统更新部署步骤繁琐,人工操作亦有极大的安全风险,与此同时,用户的资源需求也越来越多,大集群支持、资源节省亦是我们应该重点关注的问题。

本文就来介绍一种我们京东为了解决上述问题而研发的基于docker的实时计算平台。

现状以及问题

storm集群结构:

基于Docker的京东大数据实时计算平台

storm拓扑结构:

基于Docker的京东大数据实时计算平台

storm瓶颈

从storm架构图可以看出,storm整个集群对zookeeper的依赖非常大,无论是拓扑配置、分配信息、心跳、错误信息,均存储在zookeeper中,而nimbus每次分配、更新任务,均需要从zookeeper中获取这些信息,因此nimbus的压力非常大,特别是当单集群worker使用量超过5000时,每次分配、更新任务所耗的时间经常需要几分钟,其中特别是worker心跳对zookeeper所造成的压力影响最甚。

众所周知,京东业务广泛,对实时计算的需求也很大,对应所要求的集群规模也不可能小,因此京东对于上述这些问题也必须做出改变以适应自身业务的发展,其中最大的改变即是对拓扑应用结构的改变,增设了TopologyMaster角色,把metrics、心跳、背压等信息均由TopologyMaster处理,大大减轻了nimbus及zookeeper压力,当然啦,还有很多很多很不错的改动,但这不是本文的重点,就不在此累赘了。改变后的拓扑结构为

基于Docker的京东大数据实时计算平台

为响应京东集群资源上云号召,京东实时计算平台虽然解决了大集群、资源隔离等用户或集群所面临的重要问题,但若直接把整个storm照搬上弹性云平台虚拟机使用,则无法满足资源隔离需求,届时,集群用户任务之间的相互影响很可能带来各种不可预见的问题,因此我们必需对storm底层进行一次完整的改造。

技术架构实现

基于Docker的京东大数据实时计算平台

如图所示,我们将Storm的Nimbus功能进行拆分,将拓扑的主要管理职能交给TopologyMaster,改造后的storm在我们内部称之为Mars,意寓发现新大陆。

Mars主要有以下几个特性。

1.二级调度

改造后的Nimbus只需管理TopologyMaster的调度,其它如UI访问、命令下发、拓扑更新、分配、背压、metrics、心跳等,均由TopologyMaster负责处理,真正实现了完整意义上的二级调度。

2.资源隔离

改造后每个docker实例下只有一个supervisor,并且每个supervisor里只用一个worker,通过每个docker一个worker来进行worker级别的资源隔离。此外,我们引入了组的概念,不用用户申请的资源也可以统一放到一个组上,一个任务只能运行在一个组内,并通过产品化来引入权限管理,以此保证不同用户申请的资源不会被他人占用。

3.全高可用(High Availability)

基础进程HA

我们在每个docker实例里内置一个管理进程mars admin,并配置crontab每分钟检测mars admin进程状态,保证mars admin发生异常后自动重启。Mars admin管理着supervisor进程、进行日志服务的doctor进程、抓取日志的bee进程,这些进程的启停与更新由mars admin来执行,保障每个docker实例里的基础进程的HA。

Nimbus HA

我们通过Zookeeper来实现Active-Standby模式的nimbus ha,由于改造后nimbus的工作内容很少,因此单机执行完全足够满足需求。

TopologyMaster HA

TopologyMaster会定期与Nimbus进行心跳交互,若Nimbus检测到TM心跳超时,则会重新调起一个新的TM,新的TM会将自身信息写入Zookeeper中,其它Container与Supervisor将通过Zookeeper来识别到新的TM,从而保障TM的HA。

Container/Worker HA

Container会定期与TM进行交互,若TM检测到Container心跳超时,则会重新从资源池里调起一个新的Container接管原来失效Container的任务,并把新的任务分配写入Zookeeper中,以便其它Container识别新的Container的位置,从而保障Container的HA。

4.自动部署

由于一个docker一个worker,而一个docker实例可以理解为一个虚拟机,用户资源申请具有随机性、配置个性化等特点,因此对我们配置管理上必需具有自适应性。对此我们通过提供一个特殊镜像,通过产品化把JRC与云平台资源申请打通,并把资源配置、包部署等功能产品化,以达到自动部署的目的。

总结

基于docker的实时计算平台是京东自行研发的全新的、自动化的实时计算平台,它基于storm理念,通过重新设计整个底层架构及运行逻辑,并添加背压、压缩、限速、监控、日志等辅助功能,经过产品化并与弹性云平台打通,达到了用户申请即可用、配置个性化、大规模集群的要求,操作高效且自动化。

36大数据(www.36dsj.com)成立于2013年5月,是中国访问量最大的大数据网站。36大数据(微信号:dashuju36)以独立第三方的角度,为大数据产业生态图谱上的需求商 、应用商、服务商、技术解决商等相关公司及从业人员提供全球资讯、商机、案例、技术教程、项目对接、创业投资及专访报道等服务。

End.

转载请注明来自36大数据(36dsj.com): 36大数据 » 基于Docker的京东大数据实时计算平台

随意打赏

docker 管理平台docker云平台docker平台京东大数据平台大数据与云计算京东平台数据京东金融平台docker京东刷单平台京东大数据
提交建议
微信扫一扫,分享给好友吧。