需求決定架構，對于運維來說也是一樣;因此，探討一個運維平臺應該怎么樣構建，要看具體的需求再決定。以下是小編為你整理的為什么學習大數(shù)據 ?

大數(shù)據的基礎服務，包括傳輸系統(tǒng)(Flume和Kafka)，計算調度(Yarn和K8S)以及存儲系統(tǒng)(HDFS和HBASE)。 ?

大數(shù)據平臺的配置與運維需求包括：配置管理與資產管理，可監(jiān)控、可報警;可執(zhí)行批量作業(yè); 如果還有點期待就是Ai更好。 ?

自動化運維的架構，應該足夠簡單，開源可修改;解決非專業(yè)運維團隊的專業(yè)運維問題。投入產出比高，架構簡單，一個系統(tǒng)迭代容易打造精品。

其中配置管理應該具備多數(shù)據中心支持，動態(tài)管理的成員關系，基于gossip協(xié)議的事件傳輸。基于輕量型CMDB系統(tǒng)，解決傳統(tǒng)CMDB無法動態(tài)變更，自動發(fā)現(xiàn)，狀態(tài)探測問題。 ?

批量作業(yè)平臺，要解決運維中高頻的批處理任務，確保到達率很穩(wěn)定，很可靠;盡量引入原生支持的組件，減少開發(fā)的工作量。 ?

DNS一直是基礎運維的核心，也是所有業(yè)務的重中之重。因此，自動化運維平臺要將DNS的服務器及客戶端納入統(tǒng)一的管理。 ?

智能對象設計 ?

Navicat提供一個直觀和設計完善的用戶界面，用于創(chuàng)建、修改和管理資料庫的所有對象，例如表、視圖、函數(shù)或過程、索引、觸發(fā)器和序列。我們的表設計器幫助用戶創(chuàng)建和修改數(shù)據庫的表，讓設置高級選項，如關系、限制、觸發(fā)器和更多。 ?

簡化數(shù)據編輯 ?

使用Navicat瀏覽和修改數(shù)據，插入、編輯、刪除數(shù)據或復制和粘貼記錄到數(shù)據表形式的數(shù)據編輯器，Navicat將運行相應的命令(例如 INSERT或UPDATE)，免除寫復雜的SQL。廣泛的數(shù)據編輯工具令編輯工作更為方便，例如外鍵查找、set/enum選擇器和記錄篩選。 ?

簡易SQL編輯 ?

可以創(chuàng)建、編輯、運行查詢和檢視結果，自動完成代碼功能不僅幫助用戶完成輸入查詢，也可以保證快捷地輸入無錯誤的代碼。查詢創(chuàng)建工具使用戶創(chuàng)建和編輯查詢而不需要有SQL的知識。SQL美化功能旨在提高工作效率，創(chuàng)建格式整齊的查詢，提高查詢的可讀性。 ?

?

無縫數(shù)據遷移 ?

Navicat具有廣泛的功能，配備了一套簡單、易于使用的用戶界面來管理和處理數(shù)據。數(shù)據同步：分析和遷移數(shù)據庫或模式之間的數(shù)據，這樣可以確保每個數(shù)據庫保存相同的信息。 ?

Plotly ?

這是一款數(shù)據可視化工具，可兼容JavaScript、MATLAB、Python以及R等語言。Plotly甚至能夠幫助不具備代碼編寫技能或者時間的用戶完成動態(tài)可視化處理。這款工具常由新一代數(shù)據科學家使用，因為其屬于一款業(yè)務開發(fā)平臺且能夠快速完成大規(guī)模數(shù)據的理解與分析。 ?

Rapidminer ?

作為另一款大數(shù)據處理必要工具，Rapidminer屬于一套開源數(shù)據科學平臺，且通過可視化編程機制發(fā)揮作用。其功能包括對模型進行修改、分析與創(chuàng)建，且能夠快速將結果整合至業(yè)務流程當中。Rapidminer目前備受矚目，且已經成為眾多*數(shù)據科學家心目中的可靠工具。 ?

Cassandra ?

Apache Cassandra 是另一款值得關注的工具，因為其能夠有效且高效地對大規(guī)模數(shù)據加以管理。它屬于一套可擴展NoSQL數(shù)據庫，能夠監(jiān)控多座數(shù)據中心內的數(shù)據并已經在Netflix及eBay等*企業(yè)當中效力。 ?

Hadoop MapReduce> ?

這是一套軟件框架，允許用戶利用其編寫出以可靠方式并發(fā)處理大規(guī)模數(shù)據的應用。MapReduce應用主要負責完成兩項任務，即映射與規(guī)約，并由此提供多種數(shù)據處理結果。這款工具最初由谷歌公司開發(fā)完成。 ?

大數(shù)據安全

大數(shù)據的安全令人擔憂，大數(shù)據的保護越來越重要——大數(shù)據的不斷增加，對數(shù)據存儲的物理安全性要求會越來越高，從而對數(shù)據的多副本與容災機制提出更高的要求。進入2013年，網絡和數(shù)字化生活使得犯罪分子更容易獲得關于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會出現(xiàn)更高明的騙局，也就是說大數(shù)據已經把你出賣。 ?

2014年數(shù)據科學作為一個與大數(shù)據相關的新興*出現(xiàn)，將有專門針對數(shù)據科學的專業(yè)形成，有博士、碩士甚至本科生出現(xiàn)。同時，有大量數(shù)據科學的專著出版。 ?

數(shù)據共享聯(lián)盟將在2014年逐漸壯*為產業(yè)的核心一環(huán)。數(shù)據是基礎，之前在科技部的支持下，已建立了多個領域的數(shù)據共享平臺，包括氣象、地震、林業(yè)、農業(yè)、海洋、人口與健康、地球系統(tǒng)科學數(shù)據共享平臺等。之后，數(shù)據共享將擴展到企業(yè)層面。 ?

大數(shù)據將在2014年催生一批新的就業(yè)崗位，如數(shù)據分析師、數(shù)據科學家等。具有豐富經驗的數(shù)據分析人才成為稀缺資源，數(shù)據驅動型工作機會將呈現(xiàn)出爆炸式的增長。大數(shù)據領域*秀的科學家們紛紛轉行股票、期貨、甚至賭博(能比別人多看遠一秒鐘，就是效益)。 ?

現(xiàn)在的大數(shù)據，將來都不夠大。2014年，大數(shù)據將獲得更多的關注、研究、開發(fā)和應用，所引起的結果是：體現(xiàn)大數(shù)據特征的體量大、速度快、模態(tài)多、價值密度低等幾個V的特性將變得更加極致。尤其是大數(shù)據的價值密度會越來越低——數(shù)據不斷地增長，如何去除大數(shù)據中的噪聲等垃圾數(shù)據，進而從中挖掘和提取出有價值信息的難度也隨之增大。

?