[轉載] Bigtop 專案- 快速架設Apache Hadoop環境

Ref:

http://ithelp.ithome.com.tw/question/10111071?tag=ithome.article

Apache Bigtop 有做 Hodoop 的 RPM，不過只支援 64 位元。如果你想在幾分鐘內就裝好 Hodoop 開始試玩，可以直接用 Bigtop 的 RPM 安裝，10 步驟之內完成，含測試。步驟如下：
1. 安裝 Bigtop 的 Repository
wget -O /etc/yum.repos.d/bigtop.repo http://bigtop01.cloudera.org:8080/view/Bigtop-trunk/job/Bigtop-trunk-repository/label=centos6/lastSuccessfulBuild/artifact/repo/bigtop.repo
2. 安裝 Hadoop 相關套件
yum install hadoop\* flume\* mahout\* oozie\* whirr\* hbase\* --nogpgcheck -y
3. 下載 jdk
wget http://download.oracle.com/otn-pub/java/jdk/6u29-b11/jdk-6u29-linux-x64-rpm.bin
4. 安裝 jdk
chmod 755 jdk-6u29-linux-x64-rpm.bin; ./jdk-6u29-linux-x64-rpm.bin
5. 設定環境參數
export JAVA_HOME=/usr/java/jdk1.6.0_29
6. 用 hdfs 身份初始化 hdfs
sudo -u hdfs hadoop namenode -format
7. 啟動相關服務
for i in hadoop-namenode hadoop-datanode hadoop-jobtracker hadoop-tasktracker ; do sudo service $i start ; done
8. 用 hdfs 身份測試建立兩個目錄
sudo -u hdfs hadoop fs -mkdir /user/$USER
sudo -u hdfs hadoop fs -chown $USER /user/$USER
9. 測試 hadoop 列出檔案系統
hadoop fs -lsr /
10. 測試 hadoop 做 map reduce
hadoop jar /usr/lib/hadoop/hadoop-examples.jar pi 10 1000