了解Hadoop就像是在打開大數(shù)據(jù)這扇門。首先它本身是一個(gè)分布式計(jì)算架構(gòu)，更重要的是它是一個(gè)可擴(kuò)展的生態(tài)系統(tǒng)，像IBM，EMC，Amazon，微軟，甲骨文等大型IT公司都已經(jīng)有了基于Hadoop的商業(yè)化大數(shù)據(jù)產(chǎn)品。雖然現(xiàn)在還有比Hadoop更為先進(jìn)的分布式架構(gòu)(Dremel，DataFlow等)，但也都是基于Hadoop的改進(jìn)升級，因此也說Hadoop是大數(shù)據(jù)的基礎(chǔ)，基礎(chǔ)的穩(wěn)固決定了未來能走多遠(yuǎn)!!以下是小編為你整理的大數(shù)據(jù)主要學(xué)哪些內(nèi)容 ?

Hadoop是什么 ?

Hadoop是一個(gè)大家族，是一個(gè)開源的生態(tài)系統(tǒng)，是一個(gè)分布式運(yùn)行系統(tǒng)，是基于Java編程語言的架構(gòu)。不過它*明的技術(shù)還是HDFS和MapReduce，使得它可以分布式處理海量數(shù)據(jù)。 ?

HDFS(分布式文件系統(tǒng))： ?

它與現(xiàn)存的文件系統(tǒng)不同的特性有很多，比如高度容錯(cuò)(即使中途出錯(cuò)，也能繼續(xù)運(yùn)行)，支持多媒體數(shù)據(jù)和流媒體數(shù)據(jù)訪問，高效率訪問大型數(shù)據(jù)集合，數(shù)據(jù)保持嚴(yán)謹(jǐn)一致，部署成本降低，部署效率提交等，如圖是HDFS的基礎(chǔ)架構(gòu)

MapReduce(并行計(jì)算架構(gòu))： ?

它可以將計(jì)算任務(wù)拆分成大量可以獨(dú)立運(yùn)行的子任務(wù)，接著并行運(yùn)算，另外會有一個(gè)系統(tǒng)調(diào)度的架構(gòu)負(fù)責(zé)收集和匯總每個(gè)子任務(wù)的分析結(jié)果。其中 包含映射算法與規(guī)約算法。 ?

Cetas項(xiàng)目關(guān)注點(diǎn) ?

在線應(yīng)用分析： ?

及時(shí)乃至實(shí)時(shí)的決策提供了投資的成功可能性!隨著各式各樣應(yīng)用產(chǎn)生不規(guī)則的數(shù)據(jù)產(chǎn)生，這些數(shù)據(jù)到底想告訴你我什么呢?我們相信大數(shù)據(jù)將提供一個(gè)遠(yuǎn)見，一個(gè)對客戶的洞察。那就沒有理由去懷疑，基于用戶的產(chǎn)品和服務(wù)會成功!Cetas提供了一個(gè)易于管理，自助服務(wù)的虛擬環(huán)境，支持企業(yè)自定義創(chuàng)建多種應(yīng)用。這里提供了多維度的行為分析和大量高級的分析算法。 ?

IT運(yùn)營分析： ?

除了提供在線應(yīng)用實(shí)時(shí)的高級分析之外，還能分析IT運(yùn)營管理，提供企業(yè)的管理運(yùn)營能力。這為企業(yè)提供了對企業(yè)IT運(yùn)營效果的面面觀。 ?

企業(yè)Hadoop分析： ?

為企業(yè)或個(gè)人提供可擴(kuò)展，高性能的Hadoop自助分析平臺，也提供了可視化的數(shù)據(jù)發(fā)現(xiàn)功能，并且嵌入了大量先進(jìn)的機(jī)器學(xué)習(xí)算法，這些都促進(jìn)研究和深度挖掘大數(shù)據(jù)所隱藏的內(nèi)容。甚至如果你有建模的需要，這個(gè)平臺也能滿足你!! ?

從虛擬化的基礎(chǔ)上創(chuàng)建起的這三項(xiàng)服務(wù)，分別面向私人，公共，甚至是公私混合。從而Cetas使得大數(shù)據(jù)分析更加輕量化，這也是VMware公司收購Cetas之后加大投入的方向。 ?

如今Cetas加入VMware的大家族，未來將被賦予更重要的角色和作用。這方面也讓我們拭目以待VMware這架虛擬化馬車駛出的大數(shù)據(jù)分析之路。 ?

Hadoop起源 ?

Hadoop有個(gè)背景，就是起源于Apache Lucene項(xiàng)目中的一個(gè)搜索引擎Nutch。Lucene目前是世界上*，并且開源的搜索引擎框架和產(chǎn)品。Lucene本身就有非常多好的大數(shù)據(jù)經(jīng)驗(yàn)和思路。這為Hadoop預(yù)備了巨大能量，使得Hadoop注定是一個(gè)偉大的產(chǎn)品。 ?

Hadoop命名：

?

其實(shí)是一個(gè)孩子給棕黃色大象的命名。Hadoop圖標(biāo)在本系列中也隨處可見。Google也是一個(gè)這樣的例子。這樣有一個(gè)很好的點(diǎn)就是想到Hadoop，就會想到大數(shù)據(jù)，而不會是其他。 ?

Hadoop目標(biāo)： ?

Hadoop的出現(xiàn)是為了解決搜索引擎無法接受數(shù)以億計(jì)單位的數(shù)據(jù)量的問題。借助Google分享的GFS和MapReduce成熟理論，Hadoop一躍而出，成功解決了海量數(shù)據(jù)存儲和搜索的架構(gòu)問題。未來Hadoop將支持更巨大的數(shù)據(jù)和更智能的數(shù)據(jù)管理。 ?

Pig基礎(chǔ)知識 ?

Pig是進(jìn)行Hadoop計(jì)算的另一種框架，是一個(gè)高級過程語言，適合于使用 Hadoop 和 MapReduce 平臺來查詢大型半結(jié)構(gòu)化數(shù)據(jù)集。通過允許對分布式數(shù)據(jù)集進(jìn)行類似 SQL 的查詢，Pig 可以簡化 Hadoop 的使用。 ?

1、Pig概述 2、安裝Pig 3、使用Pig完成手機(jī)流量統(tǒng)計(jì)業(yè)務(wù) ?

Hive ?

hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。 其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用。 ?

1、數(shù)據(jù)倉庫基礎(chǔ)知識 2、Hive定義 3、Hive體系結(jié)構(gòu)簡介 4、Hive集群 5、客戶端簡介 6、HiveQL定義 7、HiveQL與SQL的比較 8、數(shù)據(jù)類型 9、表與表分區(qū)概念 10、表的操作與CLI客戶端 11、數(shù)據(jù)導(dǎo)入與CLI客戶端 12、查詢數(shù)據(jù)與CLI客戶端 13、數(shù)據(jù)的連接與CLI客戶端 14、用戶自定義函數(shù)(UDF) ?