Hadoop構築の実践学習メモ1(事前準備)

Hadoop構築の実践学習メモ1(事前準備)

仕事で使うことになり、「勉強しないとまずいな」と思ったので自宅で構築の事前確認をしました。

Zookeeper、HDFS、HBaseに関しては冗長化の設定とその確認までを目標にします。
※つまづきながらやったので途中ミスもあるかもしれませんが、ご容赦ください。

今回は構成紹介と事前準備、構築までです。

構成

メイン機のスペック

自宅のPCを使用します。

  • OS:windos8.1
  • CPU:i7-4790
  • RAM:32GB
  • HDD:4TB

※正直、普通に使う分にはオーバースペックですね。

ゲストOSのスペック

VMのスペックは全てのノードを揃えました。

  • OS:Cent6.6
  • CPU:1Core
  • RAM:4GB
  • HDD:32G

使ったVMはvmware playerです。
※virtualboxだと途中うまくいかなかったのでvmware playerに変更して対応しました。

構成

●マスターノード
  ・hadoop-master
  ・hadoop-master2
●クライアントノード
  ・hadoop-client
●スレーブノード
  ・hadoop-slave
  ・hadoop-slave2

準備

Hadoop構築前の設定などの準備となります。

時間を合わせる

全サーバで同じ時刻を刻むようにします。
 ※VM落として時間差ができるとそれがトリガーになるエラーが発生したので、これ、重要です。

ntp.confの編集

vim /etc/ntp.conf

●一旦、即時で合わせる
ntpdate ntp.nict.jp

●NTPサーバ起動
service ntpd start

●マシン起動時に起動するように設定

以下のように表示されればいい

セキュリティ関連を緩める(テストのため)

ローカルだし何かと面倒なのでiptablesとSELinuxを無効にします。

●iptablesを無効

以下のように表示されればOKです。

●SElinuxを無効

Hadoop関連のパッケージインストール

パッケージのインストールだが、役割ごと異なります。

●マスターノード(hadoop-master,hadoop-master2)

●スレーブノード(hadoop-slave,hadoop-slave2)

●クライアントノード(hadoop-client)

hostsの設定

各サーバ間でホスト名での名前解決が必要なのでhosts設定します
  ・全てのサーバで/etc/hostsに記述

sshの設定

サーバ間でパスワードなしによるssh認証ができるようにしておきます。
●鍵の作成
・hdfsユーザのホームディレクトリの権限を755に変更

・Enterを押して完了させる

  
・出力結果をメモする

ここまでを全サーバでhdfsユーザ、yarnユーザ、mapredユーザ分を行います。

●公開鍵の設置

id_rsa.pubの内容を記述

・~/.ssh/.に設置

ここまでを全サーバでhdfsユーザ、yarnユーザ、mapredユーザ分を行います。

・ログイン確認 (例:hadoop-masterからhadoop-master2へログイン)

hadoop-master2にパスワードなしでログインできることを確認します。

●Hadoopインストール
ベースのHadoopインストールに関しては以下のサイトを参考に作成しました。
http://qiita.com/toshiro3/items/6e010b837246598a92ee
 ※ホスト名等は読み替え

次回はZookeeperのインストールです。

【週刊bitWave】(メルマガ)始めました!
登録はこちらからメールアドレスを入力してお申込みください。

ご登録いただいたメールアドレスは 【週刊bitWave】の更新情報の配信にのみ使用します。

個人情報の取扱いに関しては、「プライバシーポリシー」をご確認ください。解除はいつでこちらから行うことが可能です。

あなたにおすすめ

仮想環境で『Ansible』を使ってサーバ構築... 最近、サーバ構築を実施する必要がありました。 まずは仮想環境を作り、サーバ構築を……と思ったのですが、私はインフラ周りの経験が浅く、色々困ったことが頻出してしまいました。 今回の記事では、私と同じような “サーバ構築ビギナー” ...
G Suiteの「Googleサイト」が意外にも使えるツールであった?... 今回ご紹介するのはGoogleの『G Suite』です。 えっ、いまさら『G Suite』!? なんて思われるかもしれません。 それもそのはず、『G Suite』は本日8月28日で、ベータ版提供開始から11年になるんですね。 ...
内線電話用の番号検索|Slack APPで作ってみた... ショーケース・ティービーではメール誤送信防止という観点から、社内連絡ではチャットツールを使用しています。 現在使用しているツールは「HipChat」。 <bitWave関連記事『情報漏えいしないための決定打!”Hip Chat”』>...
Amazon EC2|Red Hat Linux 7.3で“Muninインストール“や“パッケージ導... ナマステ~! 私はナラヤンです! 今回が初投稿になるのですが、実はこれまで何度か本bitWave上でも登場していました。 <bitWave関連記事『おもてなしの企業の社員が、ネパール人をおもてなししてみた!』> <bitWave関...