四种常见的mapreduce设计模式 -尊龙游戏旗舰厅官网

为什么80%的码农都做不了架构师？>>>   

mapreduce设计模式(mapreduce design pattern)

整个mapreduce作业的阶段主要可以分为以下四种：
　　1、input-map-reduce-output

　　2、input-map-output

　　3、input-multiple maps-reduce-output

　　4、input-map-combiner-reduce-output
下面我将一一介绍哪种场景使用哪种设计模式。

input-map-reduce-output

input➜map➜reduce➜output

如果我们需要做一些聚合操作(aggregation)，我们就需要使用这种模式。

场景计算各性别员工薪水平均值

map(key, value)	key: gender value: their salary
reduce	对gender进行group by，并计算每种性别的总薪水

input-map-output

input➜map➜output

如果我们仅仅想改变输入数据的格式，这时候我们可以使用这种模式。

场景对性别进行处理

map(key, value)	key : employee id value : gender -> if gender is female/ f/ f/ 0 then converted to f else if gender is male/m/m/1 then convert to m

input-multiple maps-reduce-output

input1➜map1➘reduce➜output input2➜map2➚

在这种设计模式中，我们有两个输入文件，其文件的格式都不一样，
文件一的格式是性别作为名字的前缀，比如：ms. shital katkar或mr. krishna katkar
文件二的格式是性别的格式是固定的，但是其位置不固定，比如 female/male, 0/1, f/m

场景对性别进行处理

map(key, value)	map 1 (for input 1)：我们需要将性别从名字中分割出来，然后根据前缀来确定性别，然后得到 (gender,salary)键值对； map 2 (for input 2)：这种情况程序编写比较直接，处理固定格式的性别，然后得到(gender,salary)键值对。
reduce	对gender进行group by，并计算每种性别的总薪水

input-map-combiner-reduce-output

input➜map➜combiner➜reduce➜output

　　在mapreduce中，combiner也被成为reduce，其接收map端的输出作为其输入，并且将输出的 key-value 键值对作为reduce的输入。combiner的使用目的是为了减少数据传入到reduce的负载。

　　在mapreduce程序中，20%的工作是在map阶段执行的，这个阶段也被成为数据的准备阶段，各阶段的工作是并行进行的。

　　80%的工作是在reduce阶段执行的，这个阶段被成为计算阶段，其不是并行的。因此，次阶段一般要比map阶段要满。为了节约时间，一些在reduce阶段处理的工作可以在combiner阶段完成。

　　假设我们有5个部门(departments)，我们需要计算个性别的总薪水。但是计算薪水的规则有点奇怪，比如某个性别的总薪水大于200k，那么这个性别的总薪水需要加上20k；如果某个性别的总薪水大于100k，那么这个性别的总薪水需要加上10k。如下：

map阶段： dept 1: male<10,20,25,45,15,45,25,20>,female <10,30,20,25,35> dept 2: male<15,30,40,25,45>,female <20,35,25,35,40> dept 3: male<10,20,20,40>,female <10,30,25,70> dept 4: male<45,25,20>,female <30,20,25,35> dept 5: male<10,20>,female <10,30,20,25,35>   combiner阶段： dept 1：male <250,20>,female <120,10> dept 2：male <155,10>,female <175,10> dept 3：male <90,00>,female <135,10> dept 4：male <90,00>,female <110,10> dept 5：male <30,00>,female <130,10>   reduce阶段： male< 250,20,155,10,90,90,30>，female<120,10,175,10,135,10,110,10,130,10>   output： male<645>,female<720>

以上四种mapreduce模式只是最基本的，我们可以根据自己问题设计不一样的设计模式。
本文翻译自：https://dzone.com/articles/mapreduce-design-patterns

转载于:https://my.oschina.net/jsan/blog/749046

与50位技术专家面对面20年技术见证，附赠技术全景图

总结

以上是尊龙游戏旗舰厅官网为你收集整理的四种常见的mapreduce设计模式的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得尊龙游戏旗舰厅官网网站内容还不错，欢迎将尊龙游戏旗舰厅官网推荐给好友。