Hadoop構築の実践学習メモ3(HDFS)

Hadoop構築の実践学習メモ3(HDFS)

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

概要

Hadoop構築学習2の続きになります。
※Zookeeperのアンサンブルが組まれていることが前提になります。

今回はHDFSの冗長化を行っていきます。

HDFS HA

エラーが起きて調査しながらの作業となり、苦戦しました。

http://www.cloudera.com/content/cloudera/en/documentation/core/v5-2-x/topics/cdh_hag_hdfs_ha_enabling.html
上記サイトを参考に構築していきます。

また、この流れでやると一度Hadoopを起動しているはずなので、一旦、すべてのノードでhadoop関連のプロセスは落としてから行います。

準備

ファイルをけっこう開くようなのでlimitを変更しておきます。(※CentOS6だと1024だった)

対象全てのノードで行いました。

vim /etc/security/limits.conf

image13

以下のようになっていることを確認。

image17

アクセスでタイムスタンプが変わらないようにします。
こちらもすべてのノードが対象。

vim /etc/fstab

image18

設定

core-site.xmlを書き換える

全てのノードで行う

vim /etc/hadoop/conf/core-site.xml

image21

vim /etc/hadoop/conf/hdfs-site.xml

image04

マスターノード2台とクライアントノードで行う

sudo mkdir -p /data/1/dfs/jn
sudo chown -R hdfs:hdfs /data/1/dfs/jn

hadoop-masterで行う

hdfs zkfc -formatZK

マスターノード2台で行う

service hadoop-hdfs-zkfc start

マスターノード2台とクライアントノードで行う

sudo service hadoop-hdfs-journalnode start

hadoop-masterで行う

hdfs namenode -initializeSharedEdits
sudo service hadoop-hdfs-namenode start

hadoop-master2で行う

sudo -u hdfs hdfs namenode -bootstrapStandby
sudo service hadoop-hdfs-namenode start

確認

active/standbyの確認と切り替えを見る
クライアントノードで行う(どこでも可能だと思う)

image16

次にhadoop-masterのnamenodeを落としてどうなるか確認

image07

クライアントノードで再度状態確認
nn1の状態が取得できないことが確認できる。

image15

hadoop-masterを起動する

image20

image18

とりあえず切り替え確認まで行えた

スレーブノード側

先の設定に引き続き、今度はスレーブノード側の確認。

スレーブノードで行う。

service hadoop-hdfs-datanode start

一度使ってるのでたぶん、clusterIDが異なるといったエラーが出る

WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-hdfs/dfs/data: namenode clusterID = CID-d9223f55-5258-45fb-b8ff-d1175fcd0d6c; datanode clusterID = CID-52da5815-dcf2-4574-96e8-4ed5e20e2f21

VERSIONというところにclusterIDが記述されているので「/tmp/hadoop-hdfs/dfs」を削除して再起動した

サンプルテストを流して問題ないか確認

sudo -u hdfs hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.3.jar pi 1 300

特に問題なかったが処理開始まで間が若干遅いか?

まとめ

ホストがスリープするとntpが落ちていたりなど(windowsの設定すればいいのかもしれないが)インストールや設定漏れといったところじゃない部分で止まってしまうケースが多かった気がする。
まあ、設定ができた良かったと思います。

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

【週刊bitWave】(メルマガ)始めました!

登録はこちらからメールアドレスを入力してお申込みください。

ご登録いただいたメールアドレスは 【週刊bitWave】の更新情報の配信にのみ使用します。

個人情報の取扱いに関しては、「プライバシーポリシー」をご確認ください。解除はいつでもこちらから行うことが可能です。

あなたにおすすめ