网站公告

大数据入门基础之Storm 和 SparkStreaming区别

时间:2018-6-12 14:32:00  作者:WPF之家  来源:http://www.wpf123.com/  查看:580  评论:0
内容摘要:Storm 纯实时的流式处理,来一条数据就立即进行处理SparkStreaming微批处理,每次处理的都是一批非常小的数据Storm支持动态调整并行度(动态的资源分配),SparkStreaming(粗粒度, 比较消耗资源)...

大数据入门基础之Storm 和 SparkStreaming区别

Storm                      纯实时的流式处理,来一条数据就立即进行处理
SparkStreaming 微批处理,每次处理的都是一批非常小的数据
Storm支持动态调整并行度(动态的资源分配),SparkStreaming(粗粒度, 比较消耗资源)

 
Storm 优点 || 缺点
Storm 流式计算(扶梯)
    优点:数据延迟度很低Storm的事务机制要比SparkStreaming的事务机制要完善什么是事务机制?对于一条数据,不多处理也不少处理,对于一条数据恰好处理一次,比如金融,股票等要求实时性比较高,那么就需要选Storm
    缺点:一直持有着资源,每一条数据都要在集群中某一台节点处理,要计算的数据会进行网络传输,吞吐量小,另外Storm不适合做复杂的业务逻辑(适合汇总)

SparkStreaming 优点 || 缺点

SparkStreaming 微批处理(类似于电梯),它并不是纯的批处理
    优点:吞吐量大,可以做复杂的业务逻辑(保证每个job的处理小于batch interval)
    缺点:数据延迟度较高
 
公司中为什么选用SparkStreaming要多一些?
    1.秒级别延迟,通常应用程序是可以接受的,
    2.可以应用机器学习,SparkSQL...可扩展性比较好,数据吞吐量较高

标签:Storm SparkStreaming 区别 

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。本文出自“wpf之家”,请务必保留此出处:http://www.wpf123.com

上一篇:没有了
下一篇:idea 大小写提示
相关评论
Copyright © 2009-2014 WPF之家(http://www.wpf123.com/) All rights reserved
 Powered by WPF之家
鄂ICP备13006396号