在巨大的數(shù)據(jù)集中進(jìn)行篩選的*工具是什么?通過和數(shù)據(jù)駭客的交流，我們知道了他們用于硬核數(shù)據(jù)分析最喜歡的語言和工具包。以下是小編為你整理的學(xué)大數(shù)據(jù)要哪些基礎(chǔ) ?

在這些語言名單中，如果R語言排第二，那就沒其他能排*。自1997年以來，作為昂貴的統(tǒng)計軟件，如Matlab和SAS的免費替代品，它漸漸風(fēng)靡全球。 ?

在過去的幾年時間中，R語言已經(jīng)成為了數(shù)據(jù)科學(xué)的寵兒——數(shù)據(jù)科學(xué)現(xiàn)在不僅僅在書呆子一樣的統(tǒng)計學(xué)家中人盡皆知，而且也為華爾街交易員，生物學(xué)家，和硅谷開發(fā)者所家喻戶曉。各種行業(yè)的公司，例如Google，F(xiàn)acebook，美國銀行，以及紐約時報都使用R語言，R語言正在商業(yè)用途上持續(xù)蔓延和擴散。 ?

R語言有著簡單而明顯的吸引力。使用R語言，只需要短短的幾行代碼，你就可以在復(fù)雜的數(shù)據(jù)集中篩選，通過先進(jìn)的建模函數(shù)處理數(shù)據(jù)，以及創(chuàng)建平整的圖形來代表數(shù)字。它被比喻為是Excel的一個極度活躍版本。

R語言最偉大的資本是已圍繞它開發(fā)的充滿活力的生態(tài)系統(tǒng)：R語言社區(qū)總是在不斷地添加新的軟件包和功能到它已經(jīng)相當(dāng)豐富的功能集中。據(jù)估計，超過200萬的人使用R語言，并且最近的一次投票表明，R語言是迄今為止在科學(xué)數(shù)據(jù)中*的語言，被61%的受訪者使用(其次是Python，39%)。 ?

此外，它的身影也漸漸出現(xiàn)在了華爾街。以前，銀行分析師會全神貫注于Excel文件直到深夜，但現(xiàn)在R語言被越來越多地用于金融建模R，特別是作為一種可視化工具，Niall O’Connor，美國銀行的副總裁如是說。 “R語言使我們平凡的表格與眾不同，”他說。 ?

R語言的日漸成熟，使得它成為了數(shù)據(jù)建模的*語言，雖然當(dāng)企業(yè)需要生產(chǎn)大型產(chǎn)品時它的能力會變得有限，也有的人說這是因為它的地位正在被其他語言篡奪。 ?

“R更適合于做一個草圖和大概，而不是詳細(xì)的構(gòu)建，”Michael Driscoll，Metamarkets的首席執(zhí)行官說。 “你不會在谷歌的網(wǎng)頁排名以及Facebook的朋友推薦算法的核心找到R語言。工程師會用R語言做原型，然后移交給用Java或Python寫的模型?！? ?

話說回來，早在2010年，Paul Butler就以R語言打造了全球的Facebook地圖而著名，這證明了該語言豐富的可視化功能。盡管他現(xiàn)在已經(jīng)不像以前那樣頻繁地使用R語言了。 ?

“R正在一點點地過時，因為它的緩慢和處理大型數(shù)據(jù)集的笨重，”Butler說。 ?

那么，他使用什么代替呢? ?

Streaming(流計算模型) ?

Spark Streaming支持對流數(shù)據(jù)的實時處理，以微批的方式對實時數(shù)據(jù)進(jìn)行計算 ?

Kafka(分布式消息隊列) ?

Kafka是Linkedin于2010年12月份開源的消息系統(tǒng)，它主要用于處理活躍的流式數(shù)據(jù)。 ?

活躍的流式數(shù)據(jù)在web網(wǎng)站應(yīng)用中非常常見，這些數(shù)據(jù)包括網(wǎng)站的pv、用戶訪問了什么內(nèi)容，搜索了什么內(nèi)容等。 ?

這些數(shù)據(jù)通常以日志的形式記錄下來，然后每隔一段時間進(jìn)行一次統(tǒng)計處理。 ?

Phoenix(hbase sql接口) ?

Apache Phoenix 是HBase的SQL驅(qū)動，Phoenix 使得Hbase 支持通過JDBC的方式進(jìn)行訪問，并將你的SQL查詢轉(zhuǎn)換成Hbase的掃描和相應(yīng)的動作。 ?

ranger(安全管理工具) ?

Apache ranger是一個hadoop集群權(quán)限框架，提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限，它提供一個集中的管理機制，管理基于yarn的hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限。 ?

knox(hadoop安全網(wǎng)關(guān)) ?

Apache knox是一個訪問hadoop集群的restapi網(wǎng)關(guān)，它為所有rest訪問提供了一個簡單的訪問接口點，能完成3A認(rèn)證(Authentication，Authorization，Auditing)和SSO(單點登錄)等 ?

確定有用的大數(shù)據(jù) ?

大數(shù)據(jù)的利用前提是有效的大量數(shù)據(jù)，如果數(shù)據(jù)是一些臟亂差的數(shù)據(jù)，那么再多也是廢物、垃圾，怎么可能好好利用呢，對此我們首先必須知道你業(yè)務(wù)領(lǐng)域是什么，這個領(lǐng)域內(nèi)什么數(shù)據(jù)是有用的。比如如果是電子商務(wù)的公司，那么首先會員數(shù)據(jù)就是一個非常有價值的數(shù)據(jù)，當(dāng)你有了有價值的數(shù)據(jù)，那么接下來就是“大”，你需要足夠多的數(shù)據(jù)才能挖掘出他的價值 ?

獲取足夠數(shù)據(jù) ?

獲取足夠量的數(shù)據(jù)主要是自身企業(yè)長期積累的過程，不過作為新的企業(yè)，在行業(yè)的沉淀也不夠，未來快速實現(xiàn)，可以通過一些途徑購買相關(guān)數(shù)據(jù)，金錢換時間的方式，迅速起來

?

建立合適的數(shù)據(jù)模型 ?

有了足夠的數(shù)據(jù)，我們接下來就需要行業(yè)資深數(shù)據(jù)挖掘者，在海量的數(shù)據(jù)中進(jìn)行數(shù)據(jù)分析，挖掘出有商業(yè)價值的信息，比如上面會員數(shù)據(jù)，可以從會員的性別挖掘出男女喜好，生日進(jìn)行生日營銷等等，這里需要相關(guān)人員對業(yè)務(wù)維度的全面把控，挖掘商業(yè)價值。下圖是騰訊數(shù)據(jù)模型 ?

數(shù)據(jù)可視化 ?

為了讓業(yè)務(wù)*能更好的理解數(shù)據(jù)，相信你的模型，就需要將數(shù)據(jù)很好的展示出來，可視化，給用戶視覺沖擊，那么你的結(jié)論就更有說服力，相關(guān)人員也更好的配合你驅(qū)動商業(yè)價值 ?

商業(yè)行為 ?

有了數(shù)據(jù)的支撐，相關(guān)運營可以針對性的進(jìn)行商業(yè)營銷活動，將數(shù)據(jù)進(jìn)行變現(xiàn)，比如爆款的推出，合理的大促等。 ?

如何選擇大數(shù)據(jù)框架

Teradata跨入大規(guī)模分析領(lǐng)域 Teradata收購Aster Data 擴張大數(shù)據(jù)市場 Teradata是企業(yè)級數(shù)據(jù)倉庫（EDW）的領(lǐng)導(dǎo)者，在數(shù)據(jù)庫分析領(lǐng)域不斷推陳出新，但在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和大部分非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域幾乎沒有很*果。 BDP——BDP商業(yè)數(shù)據(jù)平臺 海致BDP (Business DataPlatform) 連接用戶與工作所需的數(shù)據(jù)，是能提供高效數(shù)據(jù)存儲和快速查詢的列存儲數(shù)據(jù)庫實時分析平臺，用戶可以在云平臺上進(jìn)行多維度、細(xì)顆粒度的分析。你還可以在移動端實時查看和分享數(shù)據(jù)，輕松把握商業(yè)趨勢，及時應(yīng)對一切變化。 BDP是集中數(shù)據(jù)云端化（Cloud）、數(shù)據(jù)集中化（Centralization）、數(shù)據(jù)消費者化（Consumerization）三者為一體的云數(shù)據(jù)平臺。 ?

數(shù)據(jù)集中化是指企業(yè)在BDP商業(yè)數(shù)據(jù)平臺上可以整合分散的數(shù)據(jù)，將數(shù)據(jù)口徑（數(shù)據(jù)庫、第三方API等）統(tǒng)一接入，講企業(yè)的數(shù)據(jù)很好地使用起來。相比傳統(tǒng)的BI，使用BDP這類的云平臺（數(shù)據(jù)云端化）不僅能保證數(shù)據(jù)安全，而且無須運維和專業(yè)的IT*，企業(yè)在數(shù)據(jù)方面的成本將大幅削減。BDP產(chǎn)品操作簡單，企業(yè)每個人都能很快學(xué)會使用，降低了數(shù)據(jù)學(xué)習(xí)、使用門檻，讓業(yè)務(wù)人員也能自動分析數(shù)據(jù)，更快地做出相應(yīng)的決策，這就是數(shù)據(jù)消費者化。