网站公告

Spark - 大数据Big Data处理框架

时间:2018-6-12 14:39:02  作者:WPF之家  来源:http://www.wpf123.com/  查看:580  评论:0
内容摘要:Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右。  Spark是hadoop的升级版本,Hadoop作为第一代产品使用HDFS,第二代加入了Cache来保存中间计算结果,并能适时主动推Map/Reduce任务,第三代就是Sp...
Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右。

  Spark是hadoop的升级版本,Hadoop作为第一代产品使用HDFS,第二代加入了Cache来保存中间计算结果,并能适时主动推Map/Reduce任务,第三代就是Spark倡导的流Streaming。

  Spark兼容Hadoop的APi,能够读写Hadoop的HDFS HBASE 顺序文件等。

  传统Hadoop如下图 性能慢原因有:磁盘IO 复制和序列化等等

标签:数据 处理 框架 Spark 

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。本文出自“wpf之家”,请务必保留此出处:http://www.wpf123.com

上一篇:没有了
下一篇:SPARK计算引擎
相关评论
Copyright © 2009-2014 WPF之家(http://www.wpf123.com/) All rights reserved
 Powered by WPF之家
鄂ICP备13006396号