Hadoopの設定
提供: LunaBiblos
Software > DataBase > KeyValueストア > Hadoop/HBase Clusterの構築 > Hadoopの設定
目次 |
設定ファイルの準備
下図中の読込専用オリジナルファイルから、ファイルをコピーし中身を編集。編集したファイルを設定ファイル名の場所へ設置してください。
なお「conf/hadoop-env.sh」を編集する事でbinディレクトリ以下に配置されたScriptを実行させる事が可能です。
| 設定ファイル名 | 読込専用オリジナルファイル | 設定内容 |
|---|---|---|
| hadoop-env.sh | 実行環境設定 | |
| conf/core-site.xml | src/core/core-default.xml | Hadoopの全体設定 |
| conf/hdfs-site.xml | src/hdfs/hdfs-default.xml | Hadoop File System設定 |
| conf/mapred-site.xml | src/mapred/mapred-default.xml | MapReduce設定 |
設定の詳細はorg.apache.hadoop.conf Class Configurationを参照してください。
基本共通設定
hadoop-env.shの設定
JAVA_HOMEとJavaのHeapSizeの設定をします。HeapSizeの設定は必須では有りませんがPCのメモリ量、扱うDataの大きさを考慮に入れて調整してください。
vi ${HADOOP_HOME}/conf/hadoop-env.sh
で開いて Javaホームを追記する。
export JAVA_HOME=/usr export HADOOP_HEAPSIZE=2000
基本個別設定
設定ファイルのコピー
設定の大本となるXMLをコピーします。
cp ${HADOOP_HOME}/src/core/core-default.xml ${HADOOP_HOME}/conf/core-site.xml
cp ${HADOOP_HOME}/src/hdfs/hdfs-default.xml ${HADOOP_HOME}/conf/hdfs-site.xml
cp ${HADOOP_HOME}/src/mapred/mapred-default.xml ${HADOOP_HOME}/conf/mapred-site.xml
各XMLを編集します。設定が必須な物は下記の図に纏めてあります。
vi ${HADOOP_HOME}/conf/core-site.xml
vi ${HADOOP_HOME}/conf/hdfs-site.xml
vi ${HADOOP_HOME}/conf/mapred-site.xml
各種XML設定
stand-alone、Cluster利用でも下記の設定を行ってください。なお利用するポート番号「9000」、「9001」の値は任意です。
| 設定XML名 | 設定項目名 | 初期値 | 例 | 説明 |
|---|---|---|---|---|
| core-site.xml | fs.default.name | file:/// | hdfs://${Masterのホスト名/IP}:9000 | hadoopのURIです |
| core-site.xml | hadoop.tmp.dir | /tmp/hadoop-${user.name} | 任意 | 必須ではありませんが、大量のDataを扱う場合、適当な場所を設定してください。 またUbuntu系のLinuxでは、再起動時に/tmp以下が削除されるので注意してください |
| hdfs-site.xml | dfs.name.dir | ${hadoop.tmp.dir}/dfs/name | ||
| hdfs-site.xml | dfs.data.dir | ${hadoop.tmp.dir}/dfs/data | ||
| hdfs-site.xml | dfs.replication | 3 | 2 | 追加されたファイルを幾つ複製するか |
| mapred-site.xml | mapred.system.dir | ${hadoop.tmp.dir}/mapred/system | ||
| mapred-site.xml | mapred.job.tracker | localhost | ${Masterのホスト名/IP}:9001 |
Cluster Nodeリストの設定
Hadoop Clusterに参加するPCのホスト名/IPを列挙します。
Logの設定
Apache Commons Logging frameworkに従いHadoopではLog出力にApach log4jを利用しています。
HadoopのLog設定を変更したい場合はconf/log4j.propertiesを編集してください。
各種ファイルの詳細設定
Linuxの設定とHadoopファイル展開 << Hadoopの設定 >> Hadoop:mastersとslavesの設定
