纷繁的大数据

xiaoxiao2021-02-28  15

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系? - 有点文的回答 - 知乎

https://www.zhihu.com/question/27974418/answer/156227565

大数据技术生态其实是一个江湖....

在一个夜黑风高的晚上,江湖第一大帮会Google三本阵法修炼秘籍流出,大数据技术江湖从此纷争四起、永无宁日...

这三本秘籍分别为:

《Google file system》:论述了怎样借助普通机器有效的存储海量的大数据;《Google MapReduce》:论述了怎样快速计算海量的数据;《Google BigTable》:论述了怎样实现海量数据的快速查询;

以上三篇论文秘籍是大数据入门的最好文章,通俗易懂,先看此三篇再看其它技术;

在Google三大秘籍流出之后,江湖上,致力于武学开放的apache根据这三本秘籍分别研究出了对应的武学巨著《hadoop》,并开放给各大门派研习,Hadoop包括三大部分,分别是hdfs、MapReduce和hbase:hdfs解决大数据的存储问题。mapreduce解决大数据的计算问题。hbase解决大数据量的查询问题。

之后,在各大门派的支持下,Hadoop不断衍生和进化各种分支流派,其中最激烈的当属计算技术,其次是查询技术。存储技术基本无太多变化,hdfs一统天下。

作者:有点文 链接:https://www.zhihu.com/question/27974418/answer/156227565 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

https://www.zhihu.com/question/53331259
转载请注明原文地址: https://www.6miu.com/read-2800040.html

最新回复(0)