Hadoop構築の実践学習メモ3(HDFS)

Hadoop構築の実践学習メモ3(HDFS)

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

概要

Hadoop構築学習2の続きになります。
※Zookeeperのアンサンブルが組まれていることが前提になります。

今回はHDFSの冗長化を行っていきます。

HDFS HA

エラーが起きて調査しながらの作業となり、苦戦しました。

http://www.cloudera.com/content/cloudera/en/documentation/core/v5-2-x/topics/cdh_hag_hdfs_ha_enabling.html
上記サイトを参考に構築していきます。

また、この流れでやると一度Hadoopを起動しているはずなので、一旦、すべてのノードでhadoop関連のプロセスは落としてから行います。

準備

ファイルをけっこう開くようなのでlimitを変更しておきます。(※CentOS6だと1024だった)

対象全てのノードで行いました。

image13

以下のようになっていることを確認。

image17

アクセスでタイムスタンプが変わらないようにします。
こちらもすべてのノードが対象。

image18

設定

core-site.xmlを書き換える

全てのノードで行う

image21

image04

マスターノード2台とクライアントノードで行う

hadoop-masterで行う

マスターノード2台で行う

マスターノード2台とクライアントノードで行う

hadoop-masterで行う

hadoop-master2で行う

確認

active/standbyの確認と切り替えを見る
クライアントノードで行う(どこでも可能だと思う)

image16

次にhadoop-masterのnamenodeを落としてどうなるか確認

image07

クライアントノードで再度状態確認
nn1の状態が取得できないことが確認できる。

image15

hadoop-masterを起動する

image20

image18

とりあえず切り替え確認まで行えた

スレーブノード側

先の設定に引き続き、今度はスレーブノード側の確認。

スレーブノードで行う。

一度使ってるのでたぶん、clusterIDが異なるといったエラーが出る

VERSIONというところにclusterIDが記述されているので「/tmp/hadoop-hdfs/dfs」を削除して再起動した

サンプルテストを流して問題ないか確認

特に問題なかったが処理開始まで間が若干遅いか?

まとめ

ホストがスリープするとntpが落ちていたりなど(windowsの設定すればいいのかもしれないが)インストールや設定漏れといったところじゃない部分で止まってしまうケースが多かった気がする。
まあ、設定ができた良かったと思います。

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

【週刊bitWave】(メルマガ)始めました!

登録はこちらからメールアドレスを入力してお申込みください。

ご登録いただいたメールアドレスは 【週刊bitWave】の更新情報の配信にのみ使用します。

個人情報の取扱いに関しては、「プライバシーポリシー」をご確認ください。解除はいつでもこちらから行うことが可能です。

あなたにおすすめ

Macbook Proレビュー|iPhoneと相性抜群のハイスペックプロ向けPC... これまでMacBook Proを愛用してきたという人もいるかもしれません。 MacBook ProはハイスペックなノートPCなので、PCでハードな処理をするグラフィックデザイナーなどに人気です。 中にはこれからMacBook P...
高性能ノートパソコン紹介!デスクトップ並み最強スペックモデル... スマホとタブレットを中心に使う方が増えていますが、ゲームや動画編集などまだまだパソコンが必要な場面は多いですよね。 最近ではデスクトップ並の高性能なノートパソコンも増えた事で、今まで以上に選択肢が増えました。 そこで今回はデスク...
Macbook Airレビュー|iPhoneと相性抜群の高解像度ディスプレイPC... プライベートやビジネスでPCを使う人は多く、ノートPCを持ち運んで外出先で使うという人もいるかもしれません。 しかし、PCを購入する際には見るべきポイントが多く、どれを購入すればいいのか迷ってしまうこともあるでしょう。 そこで、...
MacBook比較|2019最新モデルのAir/Proはどう違ってどれがおすすめか... プライベートでもビジネスでも「MacBook」を活用している人は多いかもしれません。 MacBookは毎年新たなモデルがリリースされているので、気にしている人も多いでしょう。 そこで、この記事では「2019年最新モデルのMacB...