### 意见反馈

- 联系方式（必填）

- 您的意见（必填）

- [关闭]

- 媒体号
- 反馈
- 更多
  - 关于我们
  - 加入头条
  - 媒体报道
  - 媒体合作
  - 产品合作
  - 合作说明
  - 联系我们
  - 用户协议
  - 投诉指引

热门搜索

首页 > 科技

# 用最通俗的语言告诉你，hadoop能做什么？

2016-04-20 20:13

hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn上用于发现您可能认识的人，可以实现类似Amazon。com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。天猫的推荐系统是hive，少量尝试mahout！

下面举例说明：

设想一下这样的应用场景。我有一个100M的数据库备份的sql文件。我现在想在不导入到数据库的情况下直接用grep操作通过正则过滤出我想要的内容。例如：某个表中含有相同关键字的记录那么有几种方式,一种是直接用linux的命令grep还有一种就是通过编程来读取文件,然后对每行数据进行正则匹配得到结果好了现在是100M的数据库备份。上述两种方法都可以轻松应对。

那么如果是1G,1T甚至1PB的数据呢,上面2种方法还能行得通吗？答案是不能。毕竟单台服务器的性能总有其上限。那么对于这种超大数据文件怎么得到我们想要的结果呢？

有种方法就是分布式计算,分布式计算的核心就在于利用分布式算法把运行在单台机器上的程序扩展到多台机器上并行运行。从而使数据处理能力成倍增加。但是这种分布式计算一般对编程人员要求很高,而且对服务器也有要求。导致了成本变得非常高。

Haddop就是为了解决这个问题诞生的。Haddop可以很轻易的把很多linux的廉价pc组成分布式结点,然后编程人员也不需要知道分布式算法之类,只需要根据mapreduce的规则定义好接口方法,剩下的就交给Haddop。它会自动把相关的计算分布到各个结点上去,然后得出结果。

例如上述的例子：Hadoop要做的事首先把1PB的数据文件导入到HDFS中,然后编程人员定义好map和reduce,也就是把文件的行定义为key,每行的内容定义为value,然后进行正则匹配,匹配成功则把结果通过reduce聚合起来返回。Hadoop就会把这个程序分布到N个结点去并行的操作。

那么原本可能需要计算好几天,在有了足够多的结点之后就可以把时间缩小到几小时之内。

这也就是所谓的大数据云计算了。如果还是不懂的话再举个简单的例子

比如1亿个1相加得出计算结果,我们很轻易知道结果是1亿。但是计算机不知道。那么单台计算机处理的方式做一个一亿次的循环每次结果+1

那么分布式的处理方式则变成我用1万台计算机,每个计算机只需要计算1万个1相加然后再有一台计算机把1万台计算机得到的结果再相加从而得到最后的结果。

理论上讲,计算速度就提高了1万倍。当然上面可能是一个不恰当的例子。但所谓分布式,大数据,云计算大抵也就是这么回事了。

最后，想学习Hadoop的小伙伴们，学习Hadoop没有老师指导还是比较艰难的尤其到了后期，很容易学偏，且拉长学习周期。自学的话也会缺少一个为你背书，保证你学习成绩有效性的机构。我是大讲台运营老师，已经有很多小伙伴在大讲台这家专业的最实用的Hadoop在线机构学习，自学那么辛苦，不妨来大讲台（dajiangtai.com)看看哦！

科技 大数据 电脑 Hadoop

投诉
分享到：
相关阅读

- 微软小娜与美团外卖达成合作，智能自动订外卖？
  微软在Build2016开发者大会上宣布全新的人工智能机器人项目，微软小娜（Cortana）将作为Win10向其他移动平台扩展的新型开发桥梁，现在微软小娜已经与中国本土美团外卖达成合
- 网站要给用户好的体验必须遵循视线金三角分布法
  视线分布金三角是根据人体习惯得出来的一个词，表示用户打开搜索结果页面后， 目光会首先放在最左上角，然后向正下方移动挨个浏览搜索结果，当看到感兴趣的页面时，横向向
- 平安银行成立首个专业电商俱乐部
  日前，2016世界电子商务大会在浙江义乌召开。作为我国目前规模最大的电子商务大会，本次大会云集了国内外电商行业龙头。会议期间，平安银行还发起成立了首个专业电商俱乐部
- 创业者友情的小船咋说翻就翻？ 心疼最后一张图...
  （漫画作者：喃东尼内容改编：小桔妹）如果你有个朋友在创业，你想约他撸串/吃饭/KTV等等等...很可能是这样的（好心疼最后一张图T_T）：以上纯属YY，如有雷同，那你一定是个

文章评论 · 所有评论
条
评论请遵守当地法律法规
匿名:

点击加载更多
admin

- 绿营集体沉默噤若寒蝉 网民:只会出
- 今日头条上线
- 微软小娜与美团外卖达成合作，智能
- 京盾华鼎：将整合线下资源打造O2O跨
- 网站要给用户好的体验必须遵循视线

本月点击排行

精彩图片

文章评论 相关阅读
分享到：
© 2016 仿今日头条 http://www.jisoupan.com 中国互联网举报中心 京ICP证140141号 京公网安备 11010802020116号
违法和不良信息举报：xxx@xxx.com 统计代码填到这里