新聞中心
大數(shù)據(jù)開發(fā)跟大數(shù)據(jù)平臺開發(fā)有區(qū)別嗎?
大數(shù)據(jù)是我的主要研究方向之一,同時也在帶大數(shù)據(jù)方向的研究生,所以我來回答一下這個問題。

成都網(wǎng)站建設(shè)哪家好,找創(chuàng)新互聯(lián)公司!專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)公司、微信開發(fā)、微信平臺小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。核心團(tuán)隊均擁有互聯(lián)網(wǎng)行業(yè)多年經(jīng)驗,服務(wù)眾多知名企業(yè)客戶;涵蓋的客戶類型包括:玻璃鋼雕塑等眾多領(lǐng)域,積累了大量豐富的經(jīng)驗,同時也獲得了客戶的一致好評!
首先,大數(shù)據(jù)開發(fā)通常指的是基于大數(shù)據(jù)產(chǎn)業(yè)鏈的一系列開發(fā)任務(wù),涉及到大數(shù)據(jù)平臺開發(fā)、大數(shù)據(jù)應(yīng)用開發(fā)、大數(shù)據(jù)分析等,另外還包括數(shù)據(jù)采集產(chǎn)品的開發(fā)、數(shù)據(jù)整理產(chǎn)品的開發(fā)等等,如果向上延伸的話,部分大數(shù)據(jù)開發(fā)任務(wù)與人工智能開發(fā)任務(wù)也具有密切的聯(lián)系。
大數(shù)據(jù)平臺開發(fā)通常有兩層含義,一層是進(jìn)行大數(shù)據(jù)平臺自身的開發(fā),這屬于研發(fā)級開發(fā)任務(wù),比如大數(shù)據(jù)平臺Hadoop就是采用Java語言開發(fā)的。整個大數(shù)據(jù)平臺還涉及到一系列產(chǎn)品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,開發(fā)這些產(chǎn)品也需要一個龐大的團(tuán)隊。進(jìn)行大數(shù)據(jù)平臺研發(fā)的程序員往往需要具備豐富的開發(fā)經(jīng)驗,同時具備較強的研發(fā)能力,能夠搭建出一個穩(wěn)定的分布式計算體系。
另一層含義是在大數(shù)據(jù)平臺下進(jìn)行應(yīng)用開發(fā),比如在Hadoop、Spark平臺下進(jìn)行具體的大數(shù)據(jù)應(yīng)用開發(fā)等,這部分開發(fā)通常屬于應(yīng)用級開發(fā),難度要相對小一些,但是往往需要與具體的場景進(jìn)行緊密的聯(lián)系,需要開發(fā)者具備一定的行業(yè)背景知識。
目前大數(shù)據(jù)應(yīng)用開發(fā)主要的任務(wù)有兩個,其一是進(jìn)行已有軟件產(chǎn)品的大數(shù)據(jù)改造;其二是針對于具體的大數(shù)據(jù)需求進(jìn)行全新的大數(shù)據(jù)應(yīng)用開發(fā),目前由于是大數(shù)據(jù)落地應(yīng)用的初期,所以大數(shù)據(jù)改造的開發(fā)任務(wù)會相對多一些,未來新的大數(shù)據(jù)開發(fā)任務(wù)會逐漸增加。
相對于大數(shù)據(jù)開發(fā)來說,大數(shù)據(jù)分析也需要進(jìn)行代碼編寫,比如機器學(xué)習(xí)就是目前比較常見的數(shù)據(jù)分析方式。機器學(xué)習(xí)需要進(jìn)行算法設(shè)計、算法實現(xiàn)、算法訓(xùn)練、算法驗證和算法應(yīng)用,雖然算法設(shè)計是機器學(xué)習(xí)的核心,但是算法實現(xiàn)也需要程序員來完成具體的開發(fā)過程。
我從事互聯(lián)網(wǎng)行業(yè)多年,目前也在帶計算機專業(yè)的研究生,主要的研究方向集中在大數(shù)據(jù)和人工智能領(lǐng)域,我會陸續(xù)寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章,感興趣的朋友可以關(guān)注我,相信一定會有所收獲。
如果有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問題,或者是考研方面的問題,都可以在評論區(qū)留言!
不對。這個問題更適合有實際開發(fā)經(jīng)歷的人來回答?。?/p>
【廣義地說】,我認(rèn)為大數(shù)據(jù)開發(fā)和大數(shù)據(jù)平臺開發(fā)其實是一回事。為什么呢?
1,大數(shù)據(jù)開發(fā)是對技術(shù)的落地實現(xiàn),根據(jù)ETL策略將數(shù)據(jù)整備;
2,當(dāng)數(shù)據(jù)處理完畢后,就不是大數(shù)據(jù)開發(fā)的事了,而是其它技術(shù)的事了,如展示、分析、AI等,不能混為一談!
3,而Hadoop、Hive以及Spark等大數(shù)據(jù)生態(tài)組件是開源工具,并不是什么既有平臺,當(dāng)然開發(fā)者也可以二次開發(fā)它們甚至重構(gòu)(一般來說不現(xiàn)實),開發(fā)者調(diào)用這些組件的API接口,實現(xiàn)數(shù)據(jù)的ETL萃取-轉(zhuǎn)置-載入等;
4,當(dāng)開發(fā)的時候,開發(fā)者需要封裝代碼復(fù)用,提供接口進(jìn)行擴展,逐漸形成一個應(yīng)用,那這個應(yīng)用就逐漸長成一個平臺了?。∫虼舜髷?shù)據(jù)開發(fā)和平臺開發(fā)是一樣的意思。
【狹義地說】,開發(fā)者可以基于既有的大數(shù)據(jù)開發(fā)平臺進(jìn)行大數(shù)據(jù)開發(fā),可以省很多事。
—— 純手動敲出來的文字,謝謝支持!
是的,大數(shù)據(jù)開發(fā)和大數(shù)據(jù)平臺開發(fā)之間存在區(qū)別。
* 大數(shù)據(jù)開發(fā)通常指的是基于大數(shù)據(jù)產(chǎn)業(yè)鏈的一系列開發(fā)任務(wù),包括大數(shù)據(jù)平臺開發(fā)、大數(shù)據(jù)應(yīng)用開發(fā)、大數(shù)據(jù)分析等,以及數(shù)據(jù)采集產(chǎn)品的開發(fā)、數(shù)據(jù)整理產(chǎn)品的開發(fā)等。
* 大數(shù)據(jù)平臺開發(fā)則需要從全局角度來規(guī)劃大數(shù)據(jù)平臺的架構(gòu)和整體實現(xiàn)方式,最終促進(jìn)項目的成功。進(jìn)行大數(shù)據(jù)平臺開發(fā)需要具備豐富的開發(fā)經(jīng)驗和較強的研發(fā)能力,能夠搭建出一個穩(wěn)定的分布式計算體系。
總之,大數(shù)據(jù)開發(fā)涉及面較廣,大數(shù)據(jù)平臺開發(fā)則更加專注于構(gòu)建大數(shù)據(jù)基礎(chǔ)設(shè)施。
到此,以上就是小編對于linux 安裝python包的問題就介紹到這了,希望這1點解答對大家有用。
新聞標(biāo)題:大數(shù)據(jù)開發(fā)跟大數(shù)據(jù)平臺開發(fā)有區(qū)別嗎?(包含linux安裝python3的詞條)
地址分享:http://fisionsoft.com.cn/article/cccieie.html


咨詢
建站咨詢
