`
eric_weitm
  • 浏览: 234996 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop spark hive storm的发展过程

 
阅读更多

1、数据能存下来,hdfs(分布式文件系统)

2、能进行资源调度 yarn

3、能对存下来的大数据进行计算,mapreduce(多个硬盘同时处理)

4、更灵活更快的计算框架 spark sparksql

5、简化map reduce的开发, hive(使用sql的数据仓库)

6、机器学习 Mahout

7、实时处理 storm(缺点是只能处理事先定好的数据和逻辑)

 

基本架构:hdfs+yarn spark hive mahout

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics