mr的shuffle和spark的shuffle之间的区别-36大数据

我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

mr的shuffle和spark的shuffle之间的区别-36大数据

mr的shuffle,mapShuffle数据存到hdfs中是以块进行存储的,每一个块对应一个分片,maptask就是从分片中获取数据的。

在某个节点上启动了map Task,map Task读取是通过k-v来读取的,读取的数据会放到环形缓存区,这样做的目的是为了防止IO的访问次数,然后环形缓存区的内存达到一定的阀值的时候会把文件益写到磁盘,溢出的各种小文件会合并成一个大文件,这个合并的过程中会进行排序,这个排序叫做归并排序

map阶段会涉及到

  1. sort排序(默认按字典排序)
  2. 合并(combiner合并)
  3. 文件合并(merage 合并 总共有三种,默认是内存到磁盘)
  4. 压缩(设置压缩就会执行)

reduce Shuffle

归并排序完成后reduce端会拉取map端的数据,拉取的这个过程叫做copy过程,拉取的数据合并成一个文件,GroupComparator(默认,这个我们也可以自定义)是专门对文件夹里面的key进行分组

然后就形成k-List(v1,v2,v3)的形式,然后reduce经过业务处理,最终输出到hdfs,如果设置压缩就会执行,不设置则不执行
reduce阶段会涉及到:

  1. sort排序
  2. 分组(将相同的key的value放到一个容器的过程)
  3. merage文件合并
  4. 压缩

spark shuffle的版本一

  1. rdd中一个partition对应一个shufflemapTask任务,因为某个节点上可以有多个分区,所以可以有多个shufflemapTask
  2. 每一个shufflemapTask都会为每一个resultTask创建一个bucket缓存(内存),bucket的数量=M x R,当内存达到一定值的时候会益写到shuffleblockfile文件中
  3. shuffleMap task会封装成一个叫mapStatus,这个mapstatus,里面包含了每一个resultTask拉取数据的大小。Mapstatus: 是ShuffleMapTask返回调度器scheduler的对象,包括任务运行的块管理器地址和对应每个reducer的输出大小。
    如果partitions的数量大于2000,则用HighlyCompressedMapStatus,否则用CompressedMapStatus。
  4. 每一个resultTask拉取过来的数据,就会在内部形成一个rdd,这个rdd叫做shuffleRdd,这个rdd的数据优先存放到内存中,内存中不够然后存到磁盘里

如果是groupByKey算子就结束了,下次执行ReduceByKey的时候,再进行相同key的聚合操作,这个时候会把shuffle rdd进行聚合操作生成mapPartitionRdd,就是我们执行reduceByKey之后得到的那个rdd

spark shuffle的版本二

版本一的缺点:版本一的shuffle方式中会产生大量的小文件,

版本二的优点:就是为了减少这么多小文件的生成

bucket的数量=cpu*resultTask的个数

版本二设计的原理:一个shuffleMapTask还是会写入resultTask对应个数的本地文件,但是当下一个shuffleMapTask运行的时候会直接把数据写到之前已经建立好的本地文件,这个文件可以复用,这种复用机制叫做consolidation机制

我们把这一组的shuffle文件称为shuffleGroup,每个文件中都存储了很多shuffleMapTask对应的数据,这个文件叫做segment,这个时候因为不同的shuffleMapTask都是存在一个文件中

所以建立索引文件,来标记shuffleMapTask在shuffleBlockFile的位置+偏移量,这样就可以在一个文件里面把不同的shuffleMaptask数据分出来

spark shuffle的版本三

版本三的优点:是通过排序建立索引,相比较于版本二,它只有一个临时文件,不管有多少个resultTask都只有一个临时文件,

缺点:这个排序操作是一个消耗CPU的操作,代价是会消耗很多的cpu

版本二占用内存多,打开文件多,但不需排序,速度快。版本三占用内存少,打开文件少,速度相对慢。实践证明使用第二种方案的应用场景更多些。

shuffle的读流程

1.有一个类blockManager,封装了临时文件的位置信息,resultTask先通过blockManager,就知道我从哪个节点拿数据

如果是远程,它就是发起一次socket请求,创建一个socket链接。然后发起一次远程调用,告诉远程的读取程序,读取哪些数据。读到的内容再通过socket传过来。

2.一条条读数据和一块块读数据的优缺点?

如果是一条条读取的话,实时性好,性能低下

一块块读取的话性能高,但是实时性不好

Shuffle读由reduce这边发起,它需要先到临时文件中读,一般这个临时文件和reduce不在一台节点上,它需要跨网络去读。但也不排除在一台服务器。不论如何它需要知道临时文件的位置,

这个是谁来告诉它的呢?它有一个BlockManager的类。这里就知道将来是从本地文件中读取,还是需要从远程服务器上读取。

读进来后再做join或者combine的运算。

这些临时文件的位置就在就记录在Map结构中。

可以这样理解分区partition是RDD存储数据的地方,实际是个逻辑单位,真正要取数据时,它就调用BlockManage去读,它是以数据块的方式来读。

比如一次读取32k还是64k。它不是一条一条读,一条一条读肯定性能低。它读时首先是看本地还是远程,如果是本地就直接读这个文件了,如果是远程,它就是发起一次socket请求,创建一个socket链接。然后发起一次远程调用,告诉远程的读取程序,读取哪些数据。读到的内容再通过socket传过来。

End.

转载请注明来自36大数据(36dsj.com): 36大数据 » mr的shuffle和spark的shuffle之间的区别

随意打赏

ipod shuffleshuffle nano大数据与传统数据的区别spark storm基于spark大数据数据和大数据的区别shuffle36大数据
提交建议
微信扫一扫,分享给好友吧。