Hadoop 的兴起是对早期互联网海量数据挑战的回应,旨在以经济高效的方式解决数据存储与处理问题。 1.突破传统架构瓶颈:2003 年左右,面对互联网爆炸式增长的数据量,传统的数据库架构显得力不从心。Nutch 项目曾尝试索引 10 亿个网页,但硬件成本高达 50 万美元,月运行费用亦达 3 万美元。 2.受 Google 论文启发:Hadoop 的核心理念源于 Google 发布的 GFS 和 MapReduce 论文,它们分别介绍了分布式文件系统和并行计算模型。 3.通用硬件的应用:Hadoop 基
www.bilibili.com