E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動6000億GTV后,抖音計劃偷襲美團(tuán)大本營AGI Open Network(AON):賦能每個人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來電”有詐?抖音客服上線“驗證助手”助用戶識別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運營商e&,展示全球首個固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運營商11月成績單:用戶數(shù)據(jù)增幅放緩打造下一個英偉達(dá),孫正義的2026芯片計劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢AI時代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進(jìn)展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型
  • 首頁 > 云計算頻道 > 云計算

    我們開源啦!一鍵部署免費使用!Kubernetes上直接運行大數(shù)據(jù)平臺!

    2024年04月26日 09:45:43   來源:中文科技資訊

      導(dǎo)語:市場上首個 K8s 上的大數(shù)據(jù)平臺,開源了!

      智領(lǐng)云自主研發(fā)的首個完全基于Kubernetes的容器化大數(shù)據(jù)平臺

      Kubernetes Data Platform (簡稱KDP)

      開源啦!

      開發(fā)者只要準(zhǔn)備好命令行工具,一鍵部署

      Hadoop,Hive,Spark,Kafka, Flink, MinIO ...

      就可以創(chuàng)建以前要花幾十萬甚至幾百萬才可以買到的大數(shù)據(jù)平臺

      無需再花大量的時間和經(jīng)費去做重復(fù)的研發(fā)

      高度集成,單機(jī)即可體驗大數(shù)據(jù)平臺

      在高級安裝模式下

      用戶可在現(xiàn)有的K8s集群上集成運行大數(shù)據(jù)組件

      不用額外單獨建設(shè)大數(shù)據(jù)集群

      辛辛苦苦研究出來的成果,為什么要開源?

      這波格局開大,老板有話說

      問題1:我們?yōu)槭裁匆_源?

      我們的產(chǎn)品一直是基于大數(shù)據(jù)開源生態(tài)體系建設(shè)的。之前就一直有開源回饋社區(qū)的計劃,但是因為之前Kubernetes對于大數(shù)據(jù)組件的支持還不夠成熟,我們也一直在迭代與Kubernetes的適配,F(xiàn)在我們的企業(yè)版已經(jīng)在很多頭部客戶落地并且在生產(chǎn)環(huán)境下高效運行,覺得這個版本已經(jīng)可以達(dá)到大部分生產(chǎn)級項目的需求,集成度以及可用性是能夠幫到有類似需求的用戶的,希望這次開源能夠降低在Kubernetes上集成大數(shù)據(jù)組件的門檻,讓更多Kuberenetes和big data社區(qū)的同行們可以使用。

      問題2:開源版本的KDP,能干啥?

      KDP可以很方便的在Kubenetes上安裝和管理常用的大數(shù)據(jù)組件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一個一個去適配,可以直接開始使用。然后KDP也提供集成的運維管理界面,用戶可以從界面管理所有組件的安裝配置,運行狀況,資源使用情況,修改配置。而且KDP會將一個大數(shù)據(jù)組件的所有負(fù)載(容器,pod)作為一個整體管理,用戶不需要在Kubernetes的控制平面上去管理單獨的負(fù)載。

      問題3:最大的亮點是?

      只要你已經(jīng)在使用Kubernetes,那么在現(xiàn)有集群上十幾分鐘就可以啟動一個完整的大數(shù)據(jù)集群,馬上開始使用,極大的降低了大數(shù)據(jù)平臺的使用門檻。因為我們這個流程是高度集成的,整個安裝過程在一個單機(jī)環(huán)境下也都能啟動(例如使用單機(jī)kind虛擬集群都可以),所以在測試和實驗環(huán)境下都可以高效使用。當(dāng)然,啟動之后Day 2的很多好處,例如資源的高效利用和集成的運維管理,也是KDP提供的重要功能。

      KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大數(shù)據(jù)平臺。

      將多套大數(shù)據(jù)組件集成在Kubernetes之上,同時提供一個整體的管理及運維工具體系,形成一個完全基于Kubernetes的大數(shù)據(jù)平臺。企業(yè)級KDP更是支持在同一個Kubernetes集群中同時運行多個大數(shù)據(jù)平臺以及多租戶管理的能力,充分發(fā)揮Kubernetes云原生體系的優(yōu)勢。

      KDP,通過對開源大數(shù)據(jù)組件的擴(kuò)展和集成,實現(xiàn)了傳統(tǒng)大數(shù)據(jù)平臺到K8s大數(shù)據(jù)平臺的平穩(wěn)遷移。

      作為市場上首個可完全在Kubernetes上部署的容器化云原生大數(shù)據(jù)平臺,智領(lǐng)云自主研發(fā)的KDP,深度整合云原生架構(gòu)優(yōu)勢,將大數(shù)據(jù)組件、數(shù)據(jù)應(yīng)用及資源調(diào)度混排,納入Kubernetes管理體系,從而帶你真正玩轉(zhuǎn)云原生!

    圖片2.jpg

      總體框架

      簡單來講,KDP可以允許客戶在Kubernetes上運行它所有的大數(shù)據(jù)組件,并把它們作為一個整體管理起來。

      在Kubernetes上運行大數(shù)據(jù)平臺有三個好處:

      第一,更高效的大數(shù)據(jù)組件集成:KDP提供標(biāo)準(zhǔn)化自動化的大數(shù)據(jù)組件部署和配置,極大地縮短了大數(shù)據(jù)項目開發(fā)和上線時間;

      第二,更高效的大數(shù)據(jù)集群運管:KDP通過大數(shù)據(jù)組件與K8s的集成,在K8s之上搭建了一個大數(shù)據(jù)組件管理抽象層,標(biāo)準(zhǔn)化大數(shù)據(jù)組件生命周期管理,并提供UI界面進(jìn)一步提升了部署、升級等操作的效率;

      第三,更高的集群資源利用率:利用K8s的資源管理和配額機(jī)制,與其它系統(tǒng)共享K8s資源池,精細(xì)化資源管理,對比傳統(tǒng)大數(shù)據(jù)平臺約30%左右的資源利用率,KDP可大幅提升至60%以上。

      社區(qū)

      我們期待您的貢獻(xiàn)和建議!最簡單的貢獻(xiàn)方式是參與Github議題/討論的討論。 如果您有任何問題,請與我們聯(lián)系,我們將確保盡快為您解答。

      微信群:添加小助手微信拉您進(jìn)入交流群

      貢獻(xiàn)

      參考開發(fā)者指南,了解如何開發(fā)及貢獻(xiàn) KDP。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    [No. S033]
    分享到微信

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。