Hadoop構築の実践学習メモ1(事前準備)

Hadoop構築の実践学習メモ1(事前準備)
■ 店頭より得で、予約しやすいオンラインショップ。
 → ドコモオンラインショップ
 → auオンラインショップ
 → ソフトバンクオンラインショップ

最新のiPhoneを得して乗り換えるなら、最大6万円のキャッシュバックがある
→ SMARTPHONE STORE

仕事で使うことになり、「勉強しないとまずいな」と思ったので自宅で構築の事前確認をしました。

Zookeeper、HDFS、HBaseに関しては冗長化の設定とその確認までを目標にします。
※つまづきながらやったので途中ミスもあるかもしれませんが、ご容赦ください。

今回は構成紹介と事前準備、構築までです。

構成

メイン機のスペック

自宅のPCを使用します。

  • OS:windos8.1
  • CPU:i7-4790
  • RAM:32GB
  • HDD:4TB

※正直、普通に使う分にはオーバースペックですね。

ゲストOSのスペック

VMのスペックは全てのノードを揃えました。

  • OS:Cent6.6
  • CPU:1Core
  • RAM:4GB
  • HDD:32G

使ったVMはvmware playerです。
※virtualboxだと途中うまくいかなかったのでvmware playerに変更して対応しました。

構成

●マスターノード
  ・hadoop-master
  ・hadoop-master2
●クライアントノード
  ・hadoop-client
●スレーブノード
  ・hadoop-slave
  ・hadoop-slave2

準備

Hadoop構築前の設定などの準備となります。

時間を合わせる

全サーバで同じ時刻を刻むようにします。
 ※VM落として時間差ができるとそれがトリガーになるエラーが発生したので、これ、重要です。

ntp.confの編集

vim /etc/ntp.conf

●一旦、即時で合わせる
ntpdate ntp.nict.jp

●NTPサーバ起動
service ntpd start

●マシン起動時に起動するように設定

以下のように表示されればいい

セキュリティ関連を緩める(テストのため)

ローカルだし何かと面倒なのでiptablesとSELinuxを無効にします。

●iptablesを無効

以下のように表示されればOKです。

●SElinuxを無効

Hadoop関連のパッケージインストール

パッケージのインストールだが、役割ごと異なります。

●マスターノード(hadoop-master,hadoop-master2)

●スレーブノード(hadoop-slave,hadoop-slave2)

●クライアントノード(hadoop-client)

hostsの設定

各サーバ間でホスト名での名前解決が必要なのでhosts設定します
  ・全てのサーバで/etc/hostsに記述

sshの設定

サーバ間でパスワードなしによるssh認証ができるようにしておきます。
●鍵の作成
・hdfsユーザのホームディレクトリの権限を755に変更

・Enterを押して完了させる

  
・出力結果をメモする

ここまでを全サーバでhdfsユーザ、yarnユーザ、mapredユーザ分を行います。

●公開鍵の設置

id_rsa.pubの内容を記述

・~/.ssh/.に設置

ここまでを全サーバでhdfsユーザ、yarnユーザ、mapredユーザ分を行います。

・ログイン確認 (例:hadoop-masterからhadoop-master2へログイン)

hadoop-master2にパスワードなしでログインできることを確認します。

●Hadoopインストール
ベースのHadoopインストールに関しては以下のサイトを参考に作成しました。
http://qiita.com/toshiro3/items/6e010b837246598a92ee
 ※ホスト名等は読み替え

次回はZookeeperのインストールです。

■最新のiPhoneの購入・機種変更なら店頭より得で、予約しやすいオンラインショップ。
機種の頭金や使わないオプションパックをつけて年間何万円も損していませんか?
オンラインショップなら故障のサポートもしっかりしていて最低限の費用。待たされることもありません。
 → ドコモオンラインショップ
 → auオンラインショップ
 → ソフトバンクオンラインショップ

最新のiPhoneを得して乗り換えるなら、最大6万円のキャッシュバックがある
→ SMARTPHONE STORE
がお得です。