Hadoop構築の実践学習メモ2(Zookeeperの設定)

Hadoop構築の実践学習メモ2(Zookeeperの設定)

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

概要

Hadoop構築の実践学習メモ2の続きになります。
※Hadoopのインストールは済んでいることが前提になります。

Zookeeperのアンサンブルを組んで冗長化の設定と実際に切り替わるところまで確認します。

Zookeeperの設定

3台でアンサンブルを組む

対象はマスターノード2台とクライアントノード

  • hadoop-master
  • hadoop-master2
  • hadoop-client

設定ファイル

vim /etc/zookeeper/conf/zoo.cfg

image08

起動

マスターノードの2台とクライアントノードで以下を行う

Nはserver.Nで指定した数字

また、dataDir配下にmyidを直接用意しても対応可能だと思う

状態確認

リーダとフォローの確認をhadoop-client(どこでも可能なはず)で行う

image09

上記の場合だとhadoop-master2が現在リーダ

リーダをKILLして他がリーダになることを確認する

image06

この状態でリーダがどうなったのかを確認

image07

このあとhadoop-clientを起動し、followerになったことを確認したので問題なさそう。

まとめ

奇数台で組むのですが、5台で組んだほうが安全ですね。
実際に切り替わりサービスを継続できそうなところまで確認できてよかったと思います。

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

【週刊bitWave】(メルマガ)始めました!

登録はこちらからメールアドレスを入力してお申込みください。

ご登録いただいたメールアドレスは 【週刊bitWave】の更新情報の配信にのみ使用します。

個人情報の取扱いに関しては、「プライバシーポリシー」をご確認ください。解除はいつでもこちらから行うことが可能です。

あなたにおすすめ

仮想環境で『Ansible』を使ってサーバ構築... 最近、サーバ構築を実施する必要がありました。 まずは仮想環境を作り、サーバ構築を……と思ったのですが、私はインフラ周りの経験が浅く、色々困ったことが頻出してしまいました。 今回の記事では、私と同じような “サーバ構築ビギナー” ...
G Suiteの「Googleサイト」が意外にも使えるツールであった?... 今回ご紹介するのはGoogleの『G Suite』です。 えっ、いまさら『G Suite』!? なんて思われるかもしれません。 それもそのはず、『G Suite』は本日8月28日で、ベータ版提供開始から11年になるんですね。 ...
内線電話用の番号検索|Slack APPで作ってみた... ショーケース・ティービーではメール誤送信防止という観点から、社内連絡ではチャットツールを使用しています。 現在使用しているツールは「HipChat」。 <bitWave関連記事『情報漏えいしないための決定打!”Hip Chat”』>...
Amazon EC2|Red Hat Linux 7.3で“Muninインストール“や“パッケージ導... ナマステ~! 私はナラヤンです! 今回が初投稿になるのですが、実はこれまで何度か本bitWave上でも登場していました。 <bitWave関連記事『おもてなしの企業の社員が、ネパール人をおもてなししてみた!』> <bitWave関...