Hadoopの運用
提供: LunaBiblos
Software > DataBase > KeyValueストア > Hadoop/HBase Clusterの構築 > Hadoopの運用
Hadoopのファイル展開と設定が終わったらHadoopを稼働させます。
目次 |
初回起動前の処理
初回起動時にはHadoopファイルシステムのFormatを行います。
cd ${HADOOP_HOME}/bin
./hadoop namenode -format
起動と停止
Hadoopを起動する場合は
cd ${HADOOP_HOME}/bin
./start-all.sh
Hadoopを停止する場合は
cd ${HADOOP_HOME}/bin
./stop-all.sh
状態の確認
以下のURLからServerの状態を確認する事が出来ます。
| NameNode | http://${Masterのホスト名/IP}:50070/ |
| JobTracker | http://${Masterのホスト名/IP}:50030/ |
Clusterの再起動時の注意
MapReduce
再起動を行った際、実行中だった処理のRecoveryを可能とする為には、下記の条件が必要になります。
- mapred.jobtracker.restart.recoverの値がtureである
- 処理履歴ログの出力を行っている
- 処理履歴情報のダンプファイルを素早く保存する為にmapred.jobtracker.job.history.block.sizeに最適な値が設定されている事(初期値は3MB)
運用Command纏め
基本的に操作はMaster Node上で行います。
| コマンド | 効果 |
|---|---|
| bin/hadoop namenode -format | 分散ファイルシステムを初期化 |
| bin/start-dfs.sh | HDFSのみを起動 ${HADOOP_HOME}/conf/slaves中に記載されている全てのSlave上にDataNode Demonを起動します。 |
| bin/start-mapred.sh | MapReduceのみを起動 ${HADOOP_HOME}/conf/slaves中に記載されている全てのSlave上にDataNode Demonを起動します。 |
| bin/start-all.sh | start-dfs.shとstart-mapred.shを纏めて実行します |
| bin/stop-dfs.sh | HDFSを停止 ${HADOOP_HOME}/conf/slaves中に記載されている全てのSlave上のDataNode Demonを停止します。 |
| bin/stop-mapred.sh | MapReduceを停止 ${HADOOP_HOME}/conf/slaves中に記載されている全てのSlave上のTaskTracker Demonを停止します。 |
| bin/stop-all.sh | stop-dfs.shとstop-mapred.shを纏めて実行します。 |
Hadoop:mastersとslavesの設定 << Hadoopの運用 >> Hadoopの動作確認
