當大數(shù)據(jù)平臺遇上K8s會發(fā)生什么 ？

大數(shù)據(jù)說起來容易做起來特別難，體驗過的朋友都知道，從數(shù)據(jù)發(fā)現(xiàn)
、數(shù)據(jù)集成、數(shù)據(jù)開發(fā)到數(shù)據(jù)分析的整個過程，都非常復雜。

因為
，整個過程的主要工作都集中在數(shù)據(jù)采集、組件安裝 、數(shù)據(jù)倉建設等方面，想要高效地使用數(shù)據(jù) ，需要的是一整套管理體系。然而 ，在傳統(tǒng)上大數(shù)據(jù)平臺構建這樣一套管理體系，很難 
！

大數(shù)據(jù)復雜的技術生態(tài)

在日前的一次媒體溝通會上 ，智領云LinkTime Cloud公司CEO 彭鋒介紹了國內第 個純K8s在線 數(shù)據(jù)平臺BODS Online，它的出現(xiàn)，意味著大數(shù)據(jù)平臺的構建難題，大數(shù)據(jù)開發(fā)的低效率 ，這兩大行業(yè)性問題找到了行之有效的應對之道 。

盼望著，讓大數(shù)據(jù)平臺借力K8s

個性化推薦是最典型的大數(shù)據(jù)應用
。在新聞網(wǎng)站 、電商網(wǎng)站 、短視頻平臺上應用的非常普遍 ，每個用戶看到的推薦內容都各不相同
 ，基本都做到了千人千面，能上網(wǎng)的朋友都有體會。

智領云LinkTime Cloud公司CEO 彭鋒表示，這樣一個推薦應用其實涉及多個大數(shù)據(jù)組件和流程 ，對應就需要安裝Hadoop 、Kafka 、Hive
、Redis、Spark、Flume等組件，上圖顯示需要8條數(shù)據(jù)線，而真正的部署場景，比上圖描述的更復雜。

基于傳統(tǒng)大數(shù)據(jù)開發(fā)平臺做開發(fā)時 ，經(jīng)常需要分散管理各種組件。由于每個組件的安裝流程不同 ，系統(tǒng)版本要求不同，依賴的第三方庫不同，高可用容錯設計，授權、建權機制都各不相同
，管理流程不同 ，把這些組件拼接到一起就非常有挑戰(zhàn)性。

就好比管理具備各種超能力英雄一樣困難 ，每個都很重要 ，每個英雄的性格都不一樣 ，讓這些人齊心協(xié)力的朝著一個目標前進，對能力的要求也非常高，而這種要求無疑阻礙著大數(shù)據(jù)的進一步發(fā)展 。

隨著以K8s技術為代表的云原生技術浪潮的襲來，為大數(shù)據(jù)開發(fā)平臺的問題提供了解決之道。

原本 ，K8s作為新的技術生態(tài)，它缺少對于大數(shù)據(jù)組件的支持，雖然有人嘗試讓各種組件運行在K8s之上 ，但都并不成熟，所以，業(yè)內也基本沒有基于K8s的云原生大數(shù)據(jù)平臺