Hadoop構築の実践学習メモ3(HDFS)

Hadoop構築の実践学習メモ3(HDFS)

概要

Hadoop構築学習2の続きになります。
※Zookeeperのアンサンブルが組まれていることが前提になります。

今回はHDFSの冗長化を行っていきます。

HDFS HA

エラーが起きて調査しながらの作業となり、苦戦しました。

http://www.cloudera.com/content/cloudera/en/documentation/core/v5-2-x/topics/cdh_hag_hdfs_ha_enabling.html
上記サイトを参考に構築していきます。

また、この流れでやると一度Hadoopを起動しているはずなので、一旦、すべてのノードでhadoop関連のプロセスは落としてから行います。

準備

ファイルをけっこう開くようなのでlimitを変更しておきます。(※CentOS6だと1024だった)

対象全てのノードで行いました。

image13

以下のようになっていることを確認。

image17

アクセスでタイムスタンプが変わらないようにします。
こちらもすべてのノードが対象。

image18

設定

core-site.xmlを書き換える

全てのノードで行う

image21

image04

マスターノード2台とクライアントノードで行う

hadoop-masterで行う

マスターノード2台で行う

マスターノード2台とクライアントノードで行う

hadoop-masterで行う

hadoop-master2で行う

確認

active/standbyの確認と切り替えを見る
クライアントノードで行う(どこでも可能だと思う)

image16

次にhadoop-masterのnamenodeを落としてどうなるか確認

image07

クライアントノードで再度状態確認
nn1の状態が取得できないことが確認できる。

image15

hadoop-masterを起動する

image20

image18

とりあえず切り替え確認まで行えた

スレーブノード側

先の設定に引き続き、今度はスレーブノード側の確認。

スレーブノードで行う。

一度使ってるのでたぶん、clusterIDが異なるといったエラーが出る

VERSIONというところにclusterIDが記述されているので「/tmp/hadoop-hdfs/dfs」を削除して再起動した

サンプルテストを流して問題ないか確認

特に問題なかったが処理開始まで間が若干遅いか?

まとめ

ホストがスリープするとntpが落ちていたりなど(windowsの設定すればいいのかもしれないが)インストールや設定漏れといったところじゃない部分で止まってしまうケースが多かった気がする。
まあ、設定ができた良かったと思います。

コメント