建站
咨詢
售后
建站咨詢
新聞中心
apache Hadoop 軟件庫是一個(gè)框架，它允許使用簡單的編程模型在計(jì)算機(jī)集群上對(duì)大型數(shù)據(jù)集進(jìn)行分布式處理。Apache? Hadoop? 是可靠、可擴(kuò)展、分布式計(jì)算的開源軟件。
成都創(chuàng)新互聯(lián)公司長期為近千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為蓬江企業(yè)提供專業(yè)的網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作，蓬江網(wǎng)站改版等技術(shù)服務(wù)。擁有10余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。
該項(xiàng)目包括以下模塊：
- Hadoop Common：支持其他 Hadoop 模塊的常用工具。
- Hadoop 分布式文件系統(tǒng) （HDFS?）：分布式文件系統(tǒng)，可提供對(duì)應(yīng)用程序數(shù)據(jù)的高吞吐量訪問支持。
- Hadoop YARN：作業(yè)調(diào)度和集群資源管理框架。
- Hadoop MapReduce：一個(gè)基于 YARN 的大型數(shù)據(jù)集并行處理系統(tǒng)。
本文將幫助你逐步在 centos 上安裝 hadoop 并配置單節(jié)點(diǎn) hadoop 集群。
安裝 Java
在安裝 hadoop 之前，請(qǐng)確保你的系統(tǒng)上安裝了 Java。使用此命令檢查已安裝 Java 的版本。
java -version
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)
要安裝或更新 Java，請(qǐng)參考下面逐步的說明。
第一步是從 Oracle 官方網(wǎng)站下載最新版本的 java。
cd /opt/
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tar xzf jdk-7u79-linux-x64.tar.gz
需要設(shè)置使用更新版本的 Java 作為替代。使用以下命令來執(zhí)行此操作。
cd /opt/jdk1.7.0_79/
alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2
alternatives --config java
There are 3 programs which provide 'java'.
Selection Command
-----------------------------------------------
* 1 /opt/jdk1.7.0_60/bin/java
+ 2 /opt/jdk1.7.0_72/bin/java
3 /opt/jdk1.7.0_79/bin/java
Enter to keep the current selection[+], or type selection number: 3 [Press Enter]
現(xiàn)在你可能還需要使用 alternatives 命令設(shè)置 javac 和 jar 命令路徑。
alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2
alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2
alternatives --set jar /opt/jdk1.7.0_79/bin/jar
alternatives --set javac /opt/jdk1.7.0_79/bin/javac
下一步是配置環(huán)境變量。使用以下命令正確設(shè)置這些變量。
設(shè)置 JAVA_HOME 變量：
export JAVA_HOME=/opt/jdk1.7.0_79
設(shè)置 JRE_HOME 變量：
export JRE_HOME=/opt/jdk1.7.0_79/jre
設(shè)置 PATH 變量：
export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin
安裝 Apache Hadoop
設(shè)置好 java 環(huán)境后。開始安裝 Apache Hadoop。
第一步是創(chuàng)建用于 hadoop 安裝的系統(tǒng)用戶帳戶。
useradd hadoop
passwd hadoop
現(xiàn)在你需要配置用戶 hadoop 的 ssh 密鑰。使用以下命令啟用無需密碼的 ssh 登錄。
su - hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
exit
現(xiàn)在從官方網(wǎng)站 hadoop.apache.org 下載 hadoop 最新的可用版本。
cd ~
wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
tar xzf hadoop-2.6.0.tar.gz
mv hadoop-2.6.0 hadoop
下一步是設(shè)置 hadoop 使用的環(huán)境變量。
編輯 ~/.bashrc，并在文件末尾添加以下這些值。
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
在當(dāng)前運(yùn)行環(huán)境中應(yīng)用更改。
source ~/.bashrc
編輯 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 并設(shè)置 JAVA_HOME 環(huán)境變量。
export JAVA_HOME=/opt/jdk1.7.0_79/
現(xiàn)在，先從配置基本的 hadoop 單節(jié)點(diǎn)集群開始。
首先編輯 hadoop 配置文件并進(jìn)行以下更改。
cd /home/hadoop/hadoop/etc/hadoop
讓我們編輯 core-site.xml。
fs.default.name
hdfs://localhost:9000
接著編輯 hdfs-site.xml：
dfs.replication
1
dfs.name.dir
file:///home/hadoop/hadoopdata/hdfs/namenode
dfs.data.dir
file:///home/hadoop/hadoopdata/hdfs/datanode
并編輯 mapred-site.xml：
mapreduce.framework.name
yarn
最后編輯 yarn-site.xml：
yarn.nodemanager.aux-services
mapreduce_shuffle
現(xiàn)在使用以下命令格式化 namenode：
hdfs namenode -format
要啟動(dòng)所有 hadoop 服務(wù)，請(qǐng)使用以下命令：
cd /home/hadoop/hadoop/sbin/
start-dfs.sh
start-yarn.sh
要檢查所有服務(wù)是否正常啟動(dòng)，請(qǐng)使用 jps 命令：
jps
你應(yīng)該看到這樣的輸出。
26049 SecondaryNameNode
25929 DataNode
26399 Jps
26129 JobTracker
26249 TaskTracker
25807 NameNode
現(xiàn)在，你可以在瀏覽器中訪問 Hadoop 服務(wù)：http://your-ip-address:8088/ 。
謝謝閱讀?。?！
當(dāng)前題目：如何在CentOS上安裝ApacheHadoop
分享路徑：http://fisionsoft.com.cn/article/djpihcg.html
