建站
咨詢
售后
建站咨詢
新聞中心
這篇文章主要介紹了flink如何安裝部署，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
創(chuàng)新互聯(lián)建站2013年開創(chuàng)至今，先為大英等服務(wù)建站，大英等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為大英企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
Flink支持運(yùn)行與所有的類linux環(huán)境，比如linux，mac os x 和cygwin(windows)，要求一個(gè)master節(jié)點(diǎn)，一個(gè)或者多個(gè)worker節(jié)點(diǎn)。再部署啟動(dòng)flink集群之前，要準(zhǔn)備一下環(huán)境，對每個(gè)節(jié)點(diǎn)的環(huán)境要求是：
需要java 1.8.x或者更高版本
ssh(sshd一定要啟動(dòng)，因?yàn)橐胒link腳本去管理集群遠(yuǎn)程的節(jié)點(diǎn))
如果，你集群環(huán)境不滿足這些軟件要求，請及時(shí)安裝和更新。
假如ssh是免密碼登陸的，然后保證每個(gè)集群的安裝路徑都一樣，這樣可以方便的使用flink腳本管理集群。
JAVA_HOME配置是flink集群必須要求的，也可以通過conf/flink-conf.yaml里的env.java.home屬性設(shè)置。
Flink集群配置
在下載flink
https://flink.apache.org/downloads.html
然后解壓
tar -zxfflink-1.7.1-bin-hadoop27-scala_2.11.tgz
配置的要點(diǎn)分析
master選定
在解壓之后，就可以開始編輯flink的conf/flink-conf.yaml進(jìn)行配置了。
必要重要的點(diǎn)是選定master節(jié)點(diǎn)，配置屬性叫做：jobmanager.rpc.address。
內(nèi)存配置
根據(jù)自己的實(shí)際情況集群大小，業(yè)務(wù)繁忙度設(shè)置合理的jobmananger的jvm內(nèi)存，屬性是jobmanager.heap.mb 和taskmanager.heap.mb。
單位是MB。當(dāng)然，有些集群可能是節(jié)點(diǎn)直接內(nèi)存可能有大有小，這樣統(tǒng)一flink的taskmanager配置，會(huì)導(dǎo)致一些節(jié)點(diǎn)物理內(nèi)存荒廢，所以建議是可以通過FLINK_TM_HEAP這個(gè)環(huán)境變量來調(diào)整，該環(huán)境變量會(huì)覆蓋掉配置文件內(nèi)部的taskmanager.heap.mb配置。
指定worker節(jié)點(diǎn)
集群的哪些節(jié)點(diǎn)被配置為worker節(jié)點(diǎn)，也是需要明確指定的，這個(gè)很類似hdfs的配置，需要編輯conf/slaves文件，然后將所有wroker節(jié)點(diǎn)的ip或者h(yuǎn)ost寫入該文件即可。然后就可以ssh到所有機(jī)器的節(jié)點(diǎn)上啟動(dòng)集群。
當(dāng)然，有些人要抬杠了，我就不配置slaves，我要一臺(tái)一臺(tái)啟動(dòng)taskmanager，只能說完全沒問題。
單節(jié)點(diǎn)無需配置，解壓之后可以直接啟動(dòng)的。
配置案例
官網(wǎng)給出了一個(gè)三節(jié)點(diǎn)的集群（10.0.0.1到10.0.03）
再次強(qiáng)調(diào)，在每個(gè)節(jié)點(diǎn)flink的home路徑要存在且統(tǒng)一，最簡單的方式是用NFS，當(dāng)然也可以scp的方式分發(fā)到每個(gè)節(jié)點(diǎn)。
重要配置解析
jobmanager.heap.mb:jobmanager的堆內(nèi)存。
taskmanager.heap.mb:taskmanager的堆內(nèi)存。
taskmanager.numberOfTaskSlots:每個(gè)機(jī)器slots的數(shù)量，官方說是cpu的數(shù)量一個(gè)意思一般slot數(shù)就可以設(shè)置為cpu數(shù)或者cpu數(shù)的整數(shù)倍。
parallelism.default :任務(wù)啟動(dòng)的時(shí)候的默認(rèn)并行度。
taskmanager.tmp.dirs : taskmanager的運(yùn)行臨時(shí)路徑，可以配置多路徑，有ssd更好。
啟動(dòng)flink集群
bin/start-cluster.sh 腳本在是啟動(dòng)整個(gè)flink集群的腳本，執(zhí)行的時(shí)候會(huì)現(xiàn)在本地啟動(dòng)一個(gè)jobmanager，然后使用ssh連接到slaves文件配置的所有worker節(jié)點(diǎn)啟動(dòng)taskmanager。Taskmanager通過前面配置的jobmanager的rpc端口鏈接到j(luò)obmanager，這樣整個(gè)集群就啟動(dòng)了。
停止集群采用的腳本是bin/stop-cluster.sh。
上面的啟動(dòng)方式主要是從零啟動(dòng)一個(gè)正常的集群，那么很多時(shí)候我們會(huì)給集群添加機(jī)器，這個(gè)時(shí)候怎么辦呢？
Flink提供了兩個(gè)腳本
增加一個(gè)JobManager
bin/jobmanager.sh ((start|start-foreground)[host] [webui-port])|stop|stop-all
增加一個(gè)TaskManager
bin/taskmanager.shstart|start-foreground|stop|stop-all
執(zhí)行命令所在的機(jī)器就是你要添加到集群的機(jī)器，切記啊。
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“flink如何安裝部署”這篇文章對大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!
網(wǎng)站題目：flink如何安裝部署
當(dāng)前地址：http://fisionsoft.com.cn/article/goieje.html
