Hadoop構築の実践学習4(HBSE)

Hadoop構築の実践学習4(HBSE)

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

概要

Hadoop構築の実践学習3(HDFS)の続きになります。
※Hadoop、Zookeeperの設定が完了していることが前提になります。

HadoopファミリーのHBaseの冗長化を進めていきます。
立ち上げればホットスタンバイになると思いますが、実際に切り替わるのかどうか確認していきます。

準備

パッケージのインストール
マスターノード2台
[shell] yum -y install hbase hbase-master
[/shell] スレーブノード2台
[shell] yum -y install hbase hbase-regionserver hbase-rest
[/shell] クライアントノード
[shell] yum -y install hbase
[/shell]

次にHDFSにHBase用のディレクトリを用意
クライアントノードで行う(どこからでも可能)
[shell] sudo -u hdfs hadoop fs -mkdir /hbase
sudo -u hdfs hadoop fs -chown hbase /hbase
sudo -u hdfs hadoop fs -ls /
drwxr-xr-x – hbase hadoop 0 2015-07-05 04:20 /hbase
[/shell] 作成されたことを確認

設定

マスター側から設定
全サーバで以下を追加 ※の中に記述
[shell] vim /etc/hbase/conf/hbase-site.xml
[/shell]

image10

hdfs-site.xmlのリンク作成
[shell] ln -s /etc/hadoop/conf/hdfs-site.xml /etc/hbase/conf/.
vim /etc/hbase/conf/regionservers
[/shell] リージョンサーバのホスト名を記述

確認

実際にhbaseが機能しているのか確認
マスターノード2台で実行
[shell] service hbase-master start
[/shell] スレーブノード2台でリージョンサーバ起動
[shell] service hbase-regionserver start
[/shell] マスター、スレーブノード各2台でerrorがなければ問題ないと思う
[shell] less /var/log/hbase/xxx.log
[/shell] 次にhbase shellでつないで確認
クライアントノードで行う(どこからでも可能)
[shell] hbase shell
list
[/shell] まだ作成していないのでテーブルはない
[shell] create “tbl1”, “test1”
list
[/shell] tbl1テーブルが作成されることを確認
問題ないことがわかった。

次にzookeeperでActive/Standbyの確認
zookeeper-client ※zkCli.shとかかもしれない

image12

hadoop-masterがアクティブ
次にスタンバイの確認

image11

hadoop-master2がスタンバイ

試しにhadoop-masterを落としてみる
hadoop-masterで行う

image16

18942をkillする

image15

クライアントノードで行う
zookeeper-client

image19

hadoop-master2がアクティブ

image11

なにも表示されない

image13

再度確認

image18

hadoop-masterがスタンバイになりました。

まとめ

zookeeperシェルの確認方法はあってるか自信はないです。。。
ただ、表示されている情報からHMasterの切り替えはうまくいっていると思ってます。

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

【週刊bitWave】(メルマガ)始めました!

登録はこちらからメールアドレスを入力してお申込みください。

ご登録いただいたメールアドレスは 【週刊bitWave】の更新情報の配信にのみ使用します。

個人情報の取扱いに関しては、「プライバシーポリシー」をご確認ください。解除はいつでもこちらから行うことが可能です。

あなたにおすすめ