盗墓笔记,yy玄幻小说排行榜完本

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案

Flink部署之Yarn-創(chuàng)新互聯(lián)

Flink部署之Yarn 一、環(huán)境準(zhǔn)備 1、Flink 是一個分布式的流處理框架，所以實際應(yīng)用一般都需要搭建集群環(huán)境。需要準(zhǔn)備 3 臺 Linux 機器。具體要求如下：

系統(tǒng)環(huán)境為 CentOS 7.5 版本。
安裝 Java 8。
安裝 Hadoop 集群，Hadoop 建議選擇 Hadoop 2.7.5 以上版本。
配置集群節(jié)點服務(wù)器間時間同步以及免密登錄，關(guān)閉防火墻。三臺服務(wù)器的具體設(shè)置如下：
節(jié)點服務(wù)器 1，IP 地址為 192.168.88.102，主機名為 hadoop102。
節(jié)點服務(wù)器 2，IP 地址為 192.168.88.103，主機名為 hadoop103。
節(jié)點服務(wù)器 3，IP 地址為 192.168.88.104，主機名為 hadoop104。

2、進(jìn)入 Flink 官網(wǎng)，下載 1.13.0 版本安裝包 flink-1.13.0-bin-scala_2.12.tgz，注意此處選用對應(yīng) scala 版本為 scala 2.12 的安裝包。 3、在 hadoop102 節(jié)點服務(wù)器上創(chuàng)建安裝目錄/opt/module，將 flink 安裝包放在該目錄下，并執(zhí)行解壓命令，解壓至當(dāng)前目錄。

tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/

4、進(jìn)入解壓后的目錄，執(zhí)行啟動命令，就可以直接本地啟動flink服務(wù)。

$ cd flink-1.13.0/
$ bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host hadoop102.
Starting taskexecutor daemon on host hadoop102.
$ jps
10369 StandaloneSessionClusterEntrypoint
10680 TaskManagerRunner
10717 Jps

5、啟動成功后，訪問 http://hadoop102:8081，可以對 flink 集群和任務(wù)進(jìn)行監(jiān)控管理。如果物理機沒有配置IP地址映射，就用IP訪問http://192.168.88.102:8081。

在這里插入圖片描述

成都創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站設(shè)計制作、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的延川網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！二、集群啟動

Flink 本地啟動非常簡單，直接執(zhí)行 start-cluster.sh 就可以了。如果我們想要擴展成集群，其實啟動命令是不變的，主要是需要指定節(jié)點之間的主從關(guān)系。 Flink 是典型的 Master-Slave 架構(gòu)的分布式數(shù)據(jù)處理框架，其中 Master 角色對應(yīng)著 JobManager，Slave 角色則對應(yīng) TaskManager。

我們對三臺節(jié)點服務(wù)器的角色分配如下：

節(jié)點服務(wù)器	Hadoop102	Hadoop103	Hadoop104
角色	JobManager	TaskManager	TaskManager

1、修改集群配置

進(jìn)入 conf 目錄下，修改 flink-conf.yaml 文件，修改 jobmanager.rpc.address 參數(shù)為 hadoop102

這就指定了 hadoop102 節(jié)點服務(wù)器為 JobManager 節(jié)點。

$ cd conf/
$ vim flink-conf.yaml
# JobManager 節(jié)點地址.
jobmanager.rpc.address: hadoop102

修改 flink-conf.yaml 文件

$ cd /opt/module/flink-1.13.0-yarn/conf/
$ vim flink-conf.yaml
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 8
parallelism.default: 1

增加環(huán)境變量配置如下：

$ sudo vim /etc/profile
HADOOP_HOME=/opt/module/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

修改 workers 文件，將另外兩臺節(jié)點服務(wù)器添加為本 Flink 集群的 TaskManager 節(jié)點，具體修改如下：

$ vim workers 
hadoop103
hadoop104

這樣就指定了 hadoop103 和 hadoop104 為 TaskManager 節(jié)點。

2、分發(fā)安裝目錄

$ scp -r ./flink-1.13.0 atguigu@hadoop103:/opt/module
$ scp -r ./flink-1.13.0 atguigu@hadoop104:/opt/module

3、啟動集群在啟動flink集群前要先啟動HDFS和Yarn。 YARN 上部署的過程是：客戶端把 Flink 應(yīng)用提交給 Yarn 的 ResourceManager, Yarn 的 ResourceManager 會向 Yarn 的 NodeManager 申請容器。在這些容器上，F(xiàn)link 會部署 JobManager 和 TaskManager 的實例，從而啟動集群。Flink 會根據(jù)運行在 JobManger 上的作業(yè) 所需要的 Slot 數(shù)量動態(tài)分配 TaskManager 資源。

在可以在任一節(jié)點服務(wù)器上執(zhí)行 bin/yarn-session.sh -nm test 啟動 Flink 集群

如果報以下錯誤，添加yarn-site.xml配置

yarn.nodemanager.pmem-check-enabledfalseyarn.nodemanager.vmem-check-enabledfalse

在這里插入圖片描述

成功啟動如下：

在這里插入圖片描述

通過上圖的鏈接可以進(jìn)行Web UI訪問， YARN 會按照需求動態(tài)分配 TaskManager 和 slot，所以開始時是0TaskManager。

在這里插入圖片描述

運行一個WordCount任務(wù)

在這里插入圖片描述

任務(wù)運行后Yarn會動態(tài)分配一個資源

在這里插入圖片描述

進(jìn)行wordcount測試

在這里插入圖片描述

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

本文名稱：Flink部署之Yarn-創(chuàng)新互聯(lián)
瀏覽地址：http://fisionsoft.com.cn/article/csjdcd.html

新聞中心

其他資訊