Hadoopの基本情報

提供: LunaBiblos

Software > DataBase > KeyValueストア > Hadoop/HBase Clusterの構築 > Hadoopの基本情報

目次 1 概要 1.1 対応環境 2 Install環境 2.1 利用PCとProgram 2.2 Install先 2.3 必要なSoftWare 2.3.1 Javaに関して 3 Hadoop Cluster全体図

概要

Hadoopに関する基本的な情報です。

対応環境

• Linux、Windows

但しWindowsは開発環境としての対応です。実環境としては対応してません

Install環境

利用PCとProgram

今回は下記環境にInstallを行います。

• Dell Optiplex 755
• Ubuntu 9.04 Server 32bit
• Hadoop 0.20.1 / Hbase 0.20.1

Install先

基本的にInstall作業は解凍作業と設定編集だけです。
今回は/home/${user}hadoop/にInstallしここを${HADOOP_HOME}とします。
解凍先は任意ですが、Clusterに参加するPCではこの${HADOOP_HOME}の値を統一してください。NFSを使う場合はパスが同じなる様にMountしてください。

必要なSoftWare

Linux	ssh、rsync
Windows	Cygwin
共通	Sun Java 1.6.x、ssh環境とsshd、安定版のHadoop

Javaに関して

現在Java1.6.0_1.8でHadoopを利用するとBugがおきる事が確認されている為、それ以外のVerを利用してください。
HBaseの公式wikiではJava1.6.0_1.6を推奨しています。

Hadoop Cluster全体図

Cluster中のPC構成は下記の様に成ります。

type	機能	役割	数
Master	Hadoop HDFS	NameNode	Cluster中1台
Master	Hadoop MapReduce	JobTracker	Cluster中1台
Slave	Hadoop HDFS	DataNode	Cluster中のMaster以外全て
Slave	Hadoop MapReduce	DataNode	Cluster中のMaster以外全て