Hadoop構築の実践学習メモ1(事前準備)

Hadoop構築の実践学習メモ1(事前準備)

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

仕事で使うことになり、「勉強しないとまずいな」と思ったので自宅で構築の事前確認をしました。

Zookeeper、HDFS、HBaseに関しては冗長化の設定とその確認までを目標にします。
※つまづきながらやったので途中ミスもあるかもしれませんが、ご容赦ください。

今回は構成紹介と事前準備、構築までです。

構成

メイン機のスペック

自宅のPCを使用します。

  • OS:windos8.1
  • CPU:i7-4790
  • RAM:32GB
  • HDD:4TB

※正直、普通に使う分にはオーバースペックですね。

ゲストOSのスペック

VMのスペックは全てのノードを揃えました。

  • OS:Cent6.6
  • CPU:1Core
  • RAM:4GB
  • HDD:32G

使ったVMはvmware playerです。
※virtualboxだと途中うまくいかなかったのでvmware playerに変更して対応しました。

構成

●マスターノード
  ・hadoop-master
  ・hadoop-master2
●クライアントノード
  ・hadoop-client
●スレーブノード
  ・hadoop-slave
  ・hadoop-slave2

準備

Hadoop構築前の設定などの準備となります。

時間を合わせる

全サーバで同じ時刻を刻むようにします。
 ※VM落として時間差ができるとそれがトリガーになるエラーが発生したので、これ、重要です。

ntp.confの編集

vim /etc/ntp.conf

●一旦、即時で合わせる
ntpdate ntp.nict.jp

●NTPサーバ起動
service ntpd start

●マシン起動時に起動するように設定

以下のように表示されればいい

セキュリティ関連を緩める(テストのため)

ローカルだし何かと面倒なのでiptablesとSELinuxを無効にします。

●iptablesを無効

以下のように表示されればOKです。

●SElinuxを無効

Hadoop関連のパッケージインストール

パッケージのインストールだが、役割ごと異なります。

●マスターノード(hadoop-master,hadoop-master2)

●スレーブノード(hadoop-slave,hadoop-slave2)

●クライアントノード(hadoop-client)

hostsの設定

各サーバ間でホスト名での名前解決が必要なのでhosts設定します
  ・全てのサーバで/etc/hostsに記述

sshの設定

サーバ間でパスワードなしによるssh認証ができるようにしておきます。
●鍵の作成
・hdfsユーザのホームディレクトリの権限を755に変更

・Enterを押して完了させる

  
・出力結果をメモする

ここまでを全サーバでhdfsユーザ、yarnユーザ、mapredユーザ分を行います。

●公開鍵の設置

id_rsa.pubの内容を記述

・~/.ssh/.に設置

ここまでを全サーバでhdfsユーザ、yarnユーザ、mapredユーザ分を行います。

・ログイン確認 (例:hadoop-masterからhadoop-master2へログイン)

hadoop-master2にパスワードなしでログインできることを確認します。

●Hadoopインストール
ベースのHadoopインストールに関しては以下のサイトを参考に作成しました。
http://qiita.com/toshiro3/items/6e010b837246598a92ee
 ※ホスト名等は読み替え

次回はZookeeperのインストールです。

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

【週刊bitWave】(メルマガ)始めました!

登録はこちらからメールアドレスを入力してお申込みください。

ご登録いただいたメールアドレスは 【週刊bitWave】の更新情報の配信にのみ使用します。

個人情報の取扱いに関しては、「プライバシーポリシー」をご確認ください。解除はいつでもこちらから行うことが可能です。

あなたにおすすめ

LINEのMac専用アプリ|インストール・ログインから使い方まで解説... スマホを所持している方は、必ずダウンロード・インストールしていると言っても過言ではないコミュニケーションアプリ「LINE」。 その「LINE」にMac専用が存在することをご存知でしょうか? 仕事等でパソコンを利用している時に、並...
Macbook Proレビュー|iPhoneと相性抜群のハイスペックプロ向けPC... これまでMacBook Proを愛用してきたという人もいるかもしれません。 MacBook ProはハイスペックなノートPCなので、PCでハードな処理をするグラフィックデザイナーなどに人気です。 中にはこれからMacBook P...
高性能ノートパソコン紹介!デスクトップ並み最強スペックモデル... スマホとタブレットを中心に使う方が増えていますが、ゲームや動画編集などまだまだパソコンが必要な場面は多いですよね。 最近ではデスクトップ並の高性能なノートパソコンも増えた事で、今まで以上に選択肢が増えました。 そこで今回はデスク...
Macbook Airレビュー|iPhoneと相性抜群の高解像度ディスプレイPC... プライベートやビジネスでPCを使う人は多く、ノートPCを持ち運んで外出先で使うという人もいるかもしれません。 しかし、PCを購入する際には見るべきポイントが多く、どれを購入すればいいのか迷ってしまうこともあるでしょう。 そこで、...