Hadoop構築の実践学習メモ1(事前準備)

Hadoop構築の実践学習メモ1(事前準備)

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

仕事で使うことになり、「勉強しないとまずいな」と思ったので自宅で構築の事前確認をしました。

Zookeeper、HDFS、HBaseに関しては冗長化の設定とその確認までを目標にします。
※つまづきながらやったので途中ミスもあるかもしれませんが、ご容赦ください。

今回は構成紹介と事前準備、構築までです。

構成

メイン機のスペック

自宅のPCを使用します。

  • OS:windos8.1
  • CPU:i7-4790
  • RAM:32GB
  • HDD:4TB

※正直、普通に使う分にはオーバースペックですね。

ゲストOSのスペック

VMのスペックは全てのノードを揃えました。

  • OS:Cent6.6
  • CPU:1Core
  • RAM:4GB
  • HDD:32G

使ったVMはvmware playerです。
※virtualboxだと途中うまくいかなかったのでvmware playerに変更して対応しました。

構成

●マスターノード
  ・hadoop-master
  ・hadoop-master2
●クライアントノード
  ・hadoop-client
●スレーブノード
  ・hadoop-slave
  ・hadoop-slave2

準備

Hadoop構築前の設定などの準備となります。

時間を合わせる

全サーバで同じ時刻を刻むようにします。
 ※VM落として時間差ができるとそれがトリガーになるエラーが発生したので、これ、重要です。

ntp.confの編集

vim /etc/ntp.conf

●一旦、即時で合わせる
ntpdate ntp.nict.jp

●NTPサーバ起動
service ntpd start

●マシン起動時に起動するように設定
[shell] chkconfig ntpd on
chkconfig –list | grep ntpd
[/shell]

以下のように表示されればいい
[shell] ntpd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
[/shell]

セキュリティ関連を緩める(テストのため)

ローカルだし何かと面倒なのでiptablesとSELinuxを無効にします。

●iptablesを無効
[shell] service iptables stop
chkconfig iptables off
[/shell] 以下のように表示されればOKです。

[shell] iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off
[/shell]

●SElinuxを無効
[shell] setenforce 0
vim /etc/sysconfig/selinux
SELINUX=enforcing

SELINUX=disabled
[/shell]

Hadoop関連のパッケージインストール

パッケージのインストールだが、役割ごと異なります。

●マスターノード(hadoop-master,hadoop-master2)
[shell] sudo yum -y install
hadoop-yarn-resourcemanager
hadoop-hdfs-namenode
hadoop-mapreduce-historyserver
hadoop-yarn-proxyserver
hadoop-hdfs-zkfc
hadoop-client
zookeeper
zookeeper-server
zookeeper-server
hadoop-hdfs-journalnode
[/shell] ●スレーブノード(hadoop-slave,hadoop-slave2)
[shell] sudo yum -y install
hadoop-yarn-nodemanager
hadoop-hdfs-datanode
hadoop-mapreduce
[/shell] ●クライアントノード(hadoop-client)
[shell] sudo yum -y install
hadoop-client
zookeeper zookeeper-server
zookeeper-server
hadoop-hdfs-journalnode
[/shell]

hostsの設定

各サーバ間でホスト名での名前解決が必要なのでhosts設定します
  ・全てのサーバで/etc/hostsに記述

sshの設定

サーバ間でパスワードなしによるssh認証ができるようにしておきます。
●鍵の作成
・hdfsユーザのホームディレクトリの権限を755に変更
[shell] su – hdfs
chmod 755 ~/.
[/shell]

・Enterを押して完了させる
[shell] ssh-keygen -t rsa -P ‘’
[/shell]   
・出力結果をメモする
[shell] cat .ssh/id_rsa.pub
[/shell]

ここまでを全サーバでhdfsユーザ、yarnユーザ、mapredユーザ分を行います。

●公開鍵の設置
[shell] vim authorized_keys
[/shell] id_rsa.pubの内容を記述

・~/.ssh/.に設置
[shell] chmod 644 ~/.ssh/authorized_keys
[/shell] ここまでを全サーバでhdfsユーザ、yarnユーザ、mapredユーザ分を行います。

・ログイン確認 (例:hadoop-masterからhadoop-master2へログイン)
[shell] su – hdfs
ssh hadoop-master2
[/shell] hadoop-master2にパスワードなしでログインできることを確認します。

●Hadoopインストール
ベースのHadoopインストールに関しては以下のサイトを参考に作成しました。
http://qiita.com/toshiro3/items/6e010b837246598a92ee
 ※ホスト名等は読み替え

次回はZookeeperのインストールです。

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

【週刊bitWave】(メルマガ)始めました!

登録はこちらからメールアドレスを入力してお申込みください。

ご登録いただいたメールアドレスは 【週刊bitWave】の更新情報の配信にのみ使用します。

個人情報の取扱いに関しては、「プライバシーポリシー」をご確認ください。解除はいつでもこちらから行うことが可能です。

あなたにおすすめ