hadoop與云計(jì)算大數(shù)據(jù)

正是由于大數(shù)據(jù)對(duì)系統(tǒng)提出了很多極限的要求，不論是存儲(chǔ)、傳輸還是計(jì)算，現(xiàn)有計(jì)算技術(shù)難以滿足大數(shù)據(jù)的需求，因此整個(gè)IT架構(gòu)的革命性重構(gòu)勢(shì)在必行，存儲(chǔ)能力的增長遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)的增長，設(shè)計(jì)最合理的分層存儲(chǔ)架構(gòu)已成為信息系統(tǒng)的關(guān)鍵。分布式存儲(chǔ)架構(gòu)不僅需要scale up式的可擴(kuò)展性，也需要scale out式的可擴(kuò)展性，因此大數(shù)據(jù)處理離不開云計(jì)算技術(shù)，云計(jì)算可為大數(shù)據(jù)提供彈性可擴(kuò)展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務(wù)的高效模式，大數(shù)據(jù)則為云計(jì)算提供了新的商業(yè)價(jià)值，大數(shù)據(jù)技術(shù)與云計(jì)算技術(shù)必將有更完美的結(jié)合。

我們知道云計(jì)算的關(guān)鍵技術(shù)包括分布式并行計(jì)算、分布式存儲(chǔ)以及分布式數(shù)據(jù)管理技術(shù)，而Hadoop就是一個(gè)實(shí)現(xiàn)了Google云計(jì)算系統(tǒng)的開源平臺(tái)，包括并行計(jì)算模型MapReduce、分布式文件系統(tǒng)HDFS，以及分布式數(shù)據(jù)庫Hbase，同時(shí)Hadoop的相關(guān)項(xiàng)目也很豐富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，這些項(xiàng)目都使得Hadoop成為一個(gè)很大很完備的生態(tài)鏈系統(tǒng)。目前使用Hadoop技術(shù)實(shí)現(xiàn)的云計(jì)算平臺(tái)包括IBM的藍(lán)云，雅虎、英特爾的“云計(jì)劃”，百度的云計(jì)算基礎(chǔ)架構(gòu)，阿里巴巴云計(jì)算平臺(tái)，以及中國移動(dòng)的BigCloud大云平臺(tái)。

總而言之，用一句話概括就是云計(jì)算因大數(shù)據(jù)問題而生，大數(shù)據(jù)驅(qū)動(dòng)了云計(jì)算的發(fā)展，而Hadoop在大數(shù)據(jù)和云計(jì)算之間建起了一座堅(jiān)實(shí)可靠的橋梁。