Hadoopサーバ構築

• マスターサーバ
  • ストレージはRAID必須
  • HDFS NameNode, JournalNode (Quorum Journal ManagerベースのNameNode HA)
    • NameNode は active/standby の2台構成
    • JournalNodeは最小3台構成。2*N+1台構成でN台の障害まで耐える。
  • Zookeeper
    • Zookeeperは最小3台構成。2*N+1台構成でN台の障害まで耐える。
  • HBase Master
    • 最小構成で2台必要。

• スレーブサーバ
  • ストレージはRAIDなし
  • HDFS DataNode
    • レプリケーション数+1台構成。レプリケーション数3なら最低4台が必要。
  • HBase RegionServer
    • 最小構成で5台必要。

参考

Hadoopのシステム設計・運用のポイント from Cloudera Japan

Hadoop Operations #cwt2013 from Cloudera Japan

HDFS HA セミナー #hadoop from Cloudera Japan

Cloudera Manager 5 (hadoop運用) #cwt2013 from Cloudera Japan

• NFS+DRBDからQJM HAにかえた人のメモ - How to convert non-HA NameNode to QJM HA on CDH4 | 外道父の匠

CentOS 6 で QJM ベースの NameNode HA + 自動フェイルオーバを構成した時のメモ - 宮川拓の日記

• Upgrade Cloudera Manager 4 to the Latest Cloudera Manager

• Cloudera Manager Version and Download Information

• Cloudera Manager Installation Guide

• Uninstalling Cloudera Manager and CDH

• Cloudera Manager のバックアップについて | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan
  • Cloudera Manager のアップグレードの前には必ず設定情報(各サービスがどのホストで稼動しているかという構成情報／設定値)のバックアップをとること！

$ curl -u admin:<ログインパスワード> http://<Cloudera Manager のホスト>:7180/api/v5/cm/deployment > ./configs.json