Hadoopの動作確認

提供: LunaBiblos

Software > DataBase > KeyValueストア > Hadoop/HBase Clusterの構築 > Hadoopの動作確認

目次 1 概要 2 Demonの確認 3 動作確認の準備 3.1 テスト用ファイルの準備 3.2 テスト用ファイルのCOPY 4 動作確認の実施 4.1 Sampleの実行 4.2 実行結果の確認 4.3 結果の削除

概要

構築したHadoopが動作するかどうかの確認を行います。なお利用するのはHadoopに添付されているサンプルプログラムです。
なおこの作業はまずClusterのMasterとSlaveの両方で行ってください。

Demonの確認

Master、Slaveで下記Commandを実行し下図にあるDFS用Demon、MapReduce用Demonが起動しているか確認する。
※一覧表での確認を行い易くする為にHbaseのDemonも記載していますが、この時点でHbaseのDemonの確認は必要有りません。

type	DFS用Demon	MapReduce用Demon	Hbase用Demon
Master	NameNode、(SecondaryNameNode)、(DataNode)	JobTracker	HMaster
Slave	DataNode	TaskTracker	HRegionServer

動作確認の準備

指定されたDirectory内にあるファイルを漁り使われている単語を数えるSampleを実行します。
なおこの準備はMaster側だけで行えば充分です。

テスト用ファイルの準備

Sample動作用にフォルダを作ります。

cd ~/hadoop
mkdir input

出来上がったフォルダに適当なテキストファイルを入れます。画面から直接ファイルを作成するのであれば

cat > input/file1
cat > input/file2

で行います。今回は下記の2つのテキストを構築しました

• file1

government of the people, by the people, for the people, shall not perish from the earth.

• file2

cogito ergo sum cogito ergo sum cogito ergo sum

テスト用ファイルのCOPY

作成したFileを「input」Directory毎、Hadoop File System上の「inputs」Directoryに移動します。

./bin/hadoop dfs -copyFromLocal input inputs

動作確認の実施

ここではHadoop MapReduceを使って動作確認を行います。
Masterでの動作検証が終わった後、Slave側で確認を行う場合はここから初めてください。

Sampleの実行

Hadoop File System上に作った「inputs」Directoryに対してSampleを実行し、結果を「output」に出力ます。

./bin/hadoop jar hadoop-0.20.1-examples.jar wordcount inputs outputs

実行結果の確認

処理結果Fileが出来ているか確認し、そのFileを開いて中身を確認します。

./bin/hadoop dfs -ls output
./bin/hadoop dfs -cat output/part-r-00000

今回のテストでは下記の様な結果が出力されると思います。

by      1
cogito  3
earth   1
ergo    3
for     1
from    1
government      1
not     1
of      1
people, 3
perish  1
shall   1
sum     3
the     4

結果の削除

次のテストの為に出来上がった結果出力フォルダを削除します。

./bin/hadoop dfs -rmr output

Master側での動作確認が終わったら引き続いてSlave側でも行います。