零基礎(chǔ)搭建Hadoop大數(shù)據(jù)處理-集群安裝
經(jīng)過一系列的前期環(huán)境準備，現(xiàn)在可以開始Hadoop的安裝了，在這里去apache官網(wǎng)下載2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
不需要下載最新的3.0版本， 與后續(xù)Hive最新版本有沖突，不知道是不是自己的打開方式不對。
hadoop有三種運行方式：單機、偽分布式、完全分布式，本文介紹完全分布式。
安裝Hadoop
現(xiàn)在有三個機器，一個Master H32，兩個Slaver H33、H34。
將下載的壓縮包上傳到解壓并移動至Master機器的相應(yīng)目錄。
將軟件放置/usr/local目錄下：
tar -zxvf hadoop-2.7.3.tar.gz mv hadoop-2.7.3 hadoop273
創(chuàng)建hadoop用戶組和用戶
[root@H32 local]# groupadd hadoop #添加hadoop組 [root@H32 local]# useradd -g hadoop hadoop -s /bin/false
將該hadoop文件夾的屬主用戶設(shè)為hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop273
配置文件之前先大體介紹一下hadoop2目錄中的各個文件夾，注意區(qū)分與Hadoop1中的改變。
- 外層的啟動腳本在sbin目錄
- 內(nèi)層的被調(diào)用腳本在bin目錄
- Native的so文件都在lib/native目錄
- 配置程序文件都放置在libexec
- 配置文件都在etc目錄，對應(yīng)以前版本的conf目錄
- 所有的jar包都在share/hadoop目錄下面
創(chuàng)建Hadoop數(shù)據(jù)目錄：
mkdir -p /usr/local/hadoop273/hdfs/name mkdir -p /usr/local/hadoop273/hdfs/data
若不配置，Hadoop默認將數(shù)據(jù)存儲在tmp文件夾中，重啟會清空tmp數(shù)據(jù)，因此單獨配置其數(shù)據(jù)存儲文件夾，具體使用配置在下面XML中。
配置環(huán)境變量
/etc/profile 增加如下內(nèi)容：
export HADOOP_HOME=/usr/local/hadoop273
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_MAPARED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export LD_LIBRARY_PATH=${HADOOP_HOME}/lib/native/:$LD_LIBRARY_PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
執(zhí)行執(zhí)行source /etc/profile，使之生效
修改slaves文件，添加子節(jié)點服務(wù)名或IP
$HADOOP_HOME/etc/hadoop/slaves （Master主機特有，子節(jié)點可以不加）
H33 H34 或?qū)憣?yīng)的IP 192.168.80.33 192.168.80.34
hadoop-env.sh中配置java_home
export JAVA_HOME=/usr/local/java/jdk1.8.0_101
讓環(huán)境變量配置生效source
source /usr/local/hadoop3/etc/hadoop/hadoop-env.sh
Hadoop配置文件在conf目錄下，之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。
由于Hadoop發(fā)展迅速，代碼量急劇增加，代碼開發(fā)分為了core，hdfs和map/reduce三部分，配置文件也被分成了三個core-site.xml、hdfs-site.xml、mapred-site.xml。
core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件；core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。
core-site.xml配置如下（經(jīng)過多次坑最后能穩(wěn)定跑的配置，說多了都是淚）
<configuration> <property> <name>fs.default.name</name> <value>hdfs://H32:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop273/hadoop_tmp</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.sqoop2.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.sqoop2.groups</name> <value>*</value> </property> </configuration>
單獨創(chuàng)建tmp文件夾hadoop_tmp 給 hadoop.tmp.dir 用于跟普通數(shù)據(jù)隔離。
hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>H32:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/hadoop273/hadoop_tmp</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop273/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop273/hdfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
</configuration>
mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.application.classpath</name> <value>/usr/local/hadoop273/etc/hadoop,/usr/local/hadoop273/share/hadoop/common/*,/usr/local/hadoop273/share/hadoop/common/lib/*,/usr/local/hadoop273/share/hadoop/hdfs/*,/usr/local/hadoop273/share/hadoop/hdfs/lib/*,/usr/local/hadoop273/share/hadoop/mapreduce/*,/usr/local/hadoop273/share/hadoop/mapreduce/lib/*,/usr/local/hadoop273/share/hadoop/yarn/*,/usr/local/hadoop273/share/hadoop/yarn/lib/*</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>H32:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>H32:19888</value> </property> <property> <name>mapreduce.map.memory.mb</name> <value>1536</value> </property> <property> <name>mapreduce.map.java.opts</name> <value>-Xmx3072M</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>3072</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx6144M</value> </property> <property> <name>mapreduce.cluster.map.memory.mb</name> <value>-1</value> </property> <property> <name>mapreduce.cluster.reduce.memory.mb</name> <value>-1</value> </property> </configuration>
yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.address</name> <value>H32:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>H32:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>H32:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>H32:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>H32:8088</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>mapreduce.application.classpath</name> <value>/usr/local/hadoop273/etc/hadoop,/usr/local/hadoop273/share/hadoop/common/*,/usr/local/hadoop273/share/hadoop/common/lib/*,/usr/local/hadoop273/share/hadoop/hdfs/*,/usr/local/hadoop273/share/hadoop/hdfs/lib/*,/usr/local/hadoop273/share/hadoop/mapreduce/*,/usr/local/hadoop273/share/hadoop/mapreduce/lib/*,/usr/local/hadoop273/share/hadoop/yarn/*,/usr/local/hadoop273/share/hadoop/yarn/lib/*</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>3</value> </property> </configuration>
注意黃色標志，要classpath一定是絕對路徑，不要用$HADOOP_HOME，運行會一直提示找不到相關(guān)類錯誤，至此master節(jié)點的hadoop搭建完畢。
搭建剩余節(jié)點
現(xiàn)在在Master機器上的Hadoop配置就結(jié)束了，剩下的就是配置Slave機器上的Hadoop。
將 Master上配置好的hadoop所在文件夾”/usr/local/hadoop273″復(fù)制到所有的Slave的”/usr/local”目錄下（實際上Slave機器上的slavers文件是不必要的， 復(fù)制了也沒問題）。用下面命令格式進行。（備注：此時用戶可以為hadoop也可以為root）
把H32的hadoop目錄下的logs和tmp刪除，再把H32中的jdk、hadoop文件夾復(fù)制到H33和H34節(jié)點
scp -r /usr/local/hadoop273 root@H33:/usr/local
例如：從”Master.Hadoop”到”Slave1.Hadoop”復(fù)制配置Hadoop的文件。
上圖中以root用戶進行復(fù)制，當(dāng)然不管是用戶root還是hadoop，雖然Master機器上的”/usr/local/hadoop273″文件夾用戶hadoop有權(quán)限，但是Slave1上的hadoop用戶卻沒有”/usr/local”權(quán)限，所以沒有創(chuàng)建文件夾的權(quán)限。所以無論是哪個用戶進行拷貝，右面都是”root@機器IP”格式。因為我們只是建立起了hadoop用戶的SSH無密碼連接，所以用root進行”scp”時，扔提示讓你輸入”Slave1.Hadoop”服務(wù)器用戶root的密碼。
查看”Slave1.Hadoop”服務(wù)器的”/usr/local”目錄下是否已經(jīng)存在”hadoop”文件夾，確認已經(jīng)復(fù)制成功。
hadoop文件夾確實已經(jīng)復(fù)制了，但是我們發(fā)現(xiàn)hadoop權(quán)限是root，所以我們現(xiàn)在要給”Slave1.Hadoop”服務(wù)器上的用戶hadoop添加對”/usr/local/hadoop”讀權(quán)限。
以上配置完成后，將hadoop整個文件夾復(fù)制到其他機器。
啟動hadoop
1.格式化namenode
hdfs namenode -format 只需一次，下次啟動不再需要格式化，只需 start-all.sh
若沒有設(shè)置路徑$HADOOP_HOME/bin為環(huán)境變量，則需在$HADOOP_HOME路徑下執(zhí)行
bin/hdfs namenode -format
2.啟動dfs及yarn
start-dfs.sh 在啟動前關(guān)閉集群中所有機器的防火墻，不然會出現(xiàn)datanode開后又自動關(guān)閉(暫未發(fā)現(xiàn)) service iptables stop
start-yarn.sh
若沒有設(shè)置路徑$HADOOP_HOME/sbin為環(huán)境變量，則需在$HADOOP_HOME路徑下執(zhí)行
sbin/start-dfs.sh sbin/start-yarn.sh 或 直接start-all.sh都啟動
另外還要啟動history服務(wù)，不然在面板中不能打開history鏈接。
sbin/mr-jobhistory-daemon.sh start historyserver
停止集群
sbin/stop-dfs.sh sbin/stop-yarn.sh 或 直接stop-all.sh
下面使用jps命令查看啟動進程：
4504 ResourceManager
4066 DataNode
4761 NodeManager
5068 JobHistoryServer
4357 SecondaryNameNode
3833 NameNode
5127 Jps
打開監(jiān)控頁面
現(xiàn)在便可以打開頁面http://192.168.80.32:8088及http://192.168.80.32:50070；看到下面兩個頁面時說明安裝成功。
測試
hdfs測試：
在root中創(chuàng)建文件：
~/hadoop-test-data.txt
向hdfs中上傳文件：
bin/hadoop fs -put ~/hadoop-test-data.txt /tmp/input
查看hdfs文件目錄：
hdfs dfs –ls /
移除文件命令：
hadoop fs -rm -r /tmp/input
Yarn測試：
運行WordCount測試程序，output為輸出文件。
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /tmp/input output
運行過程出現(xiàn)下面內(nèi)容，沒有錯誤提示說明正常：
具體查看結(jié)果：
查看生成列表，會有兩個文件，主要查看part-r-00000
hadoop fs -ls output/
hadoop fs -cat output/part-r-00000
結(jié)果顯示：
hadoop 1
hello 2
java 4
jsp 1
到這里，hadoop-2環(huán)境搭建結(jié)束，配置文件根據(jù)具體需求，具體配置。
查看集群狀態(tài)：
[root@H32 hadoop273]$ ./bin/hdfs dfsadmin -report
MapReduce Application Master界面：
Map Task運行狀況：
某個Node上各個Container狀態(tài)：
擴展
以下列布署過程中遇到的幾個常見問題，加了網(wǎng)上一些網(wǎng)友的內(nèi)容。
解決”no datanode to stop”問題
當(dāng)停止Hadoop時發(fā)現(xiàn)如下信息：
原因：每次namenode format會重新創(chuàng)建一個namenodeId，而tmp/dfs/data下包含了上次format下的id，namenode format清空了namenode下的數(shù)據(jù)，但是沒有清空datanode下的數(shù)據(jù)，導(dǎo)致啟動時失敗，所要做的就是每次fotmat前，清空tmp一下的所有目錄。
第一種解決方案如下：
1）先刪除”/usr/hadoop/tmp” rm -rf /usr/hadoop/tmp
2）創(chuàng)建”/usr/hadoop/tmp”文件夾 mkdir /usr/hadoop/tmp
3）刪除”/tmp”下以”hadoop”開頭文件 rm -rf /tmp/hadoop*
4）重新格式化hadoop hadoop namenode -format
5）啟動hadoop start-all.sh
使用第一種方案，有種不好處就是原來集群上的重要數(shù)據(jù)全沒有了。假如說Hadoop集群已經(jīng)運行了一段時間。建議采用第二種。
第二種方案如下：
1）修改每個Slave的namespaceID使其與Master的namespaceID一致。
2）修改Master的namespaceID使其與Slave的namespaceID一致。
該”namespaceID”位于”/usr/hadoop/tmp/dfs/data/current/VERSION”文件中，前面藍色的可能根據(jù)實際情況變化，但后面紅色是不變的。
例如：查看”Master”下的”VERSION”文件
本人建議采用第二種，這樣方便快捷，而且還能防止誤刪。
Slave服務(wù)器中datanode啟動后又自動關(guān)閉
查看日志發(fā)下如下錯誤。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to … failed on local exception: java.net.NoRouteToHostException: No route to host
解決方案是：關(guān)閉防火墻
service iptables stop
從本地往hdfs文件系統(tǒng)上傳文件
出現(xiàn)如下錯誤：
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解決方案是：
1）關(guān)閉防火墻 service iptables stop
2）禁用selinux 編輯 “/etc/selinux/config”文件，設(shè)置”SELINUX=disabled”
處理速度特別的慢
出現(xiàn)map很快，但是reduce很慢，而且反復(fù)出現(xiàn)”reduce=0%”。
解決方案如下：結(jié)合解決方案5.7，然后修改”conf/hadoop-env.sh”中的”export HADOOP_HEAPSIZE=4000″
解決hadoop OutOfMemoryError問題
出現(xiàn)這種異常，明顯是jvm內(nèi)存不夠得原因。
解決方案如下：要修改所有的datanode的jvm內(nèi)存大小。
Java –Xms 1024m -Xmx 4096m
一般jvm的最大內(nèi)存使用應(yīng)該為總內(nèi)存大小的一半，我們使用的8G內(nèi)存，所以設(shè)置為4096m，這一值可能依舊不是最優(yōu)的值。
Namenode in safe mode
解決方案如下：bin/hadoop dfsadmin -safemode leave
IO寫操作出現(xiàn)問題
0-1246359584298, infoPort=50075, ipcPort=50020):Got exception while serving blk_-5911099437886836280_1292 to /172.16.100.165:
java.net.SocketTimeoutException: 480000 millis timeout while waiting for channel to be ready for write. ch : java.nio.channels.SocketChannel[connected local=/
172.16.100.165:50010 remote=/172.16.100.165:50930]
at org.apache.hadoop.net.SocketIOWithTimeout.waitForIO(SocketIOWithTimeout.java:185)
at org.apache.hadoop.net.SocketOutputStream.waitForWritable(SocketOutputStream.java:159)
……
It seems there are many reasons that it can timeout, the example given in HADOOP-3831 is a slow reading client.
解決方案如下：
在hadoop-site.xml中設(shè)置dfs.datanode.socket.write.timeout=0
java.net.NoRouteToHostException: No Route to Host from H32/192.168.80.32 to H30:40080 failed on socket timeout exception: java.net.NoRouteToHostException: 沒有到主機的路由;
關(guān)閉to H30的防火墻，或不能訪問H30服務(wù)器，重啟H30
This token is expired. current time is 1489243761235 found 1489239661109
Note: System times on machines may be out of sync. Check system time and time zones.
兩個主機的時間不一致，重置兩個主機的時間，重置方法網(wǎng)上有很多。
啟動hadoop時沒有NameNode的可能原因：
（1） NameNode沒有格式化
（2） 環(huán)境變量配置錯誤
（3） Ip和hostname綁定失敗
（4）hostname含有特殊符號如何.(符號點)，會被誤解析
地址占用
報錯：org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use
解決方法：查找被占用的端口號對應(yīng)的PID：netstat –tunl
Pkill -9 PID
實在不行就killall -9 java
End.
