Clouderaのマネージャー
https://archive.cloudera.com/cm6/6.0.0/
CDH
https://archive.cloudera.com/cdh6/6.0.0/
デフォルトのパスE17は、yumのです
の/ var /キャッシュ/ yumを/ x86_64版 / 7 / Clouderaのマネージャ/パッケージ
まず、ホスト環境が設定されて
0に、ディスクのディレクトリにぶら下がっ修正
DF -h
lsblk
lscpu
無料-gとして
は、uname -a
lsb_release -a
ます。mkdir /アプリケーション
VIは/ etc / fstabに
。1、ファイアウォールをオフに
ステータスがiptablesの-サービス
のchkconfig iptablesのOFF
（作用及びテスト環境ファイアウォールの維持がオフ）
2、近いSELinuxの
CATの/ etc / SELinuxは/ configの
SELINUX =無効
3、ホスト名の変更
viのは/ etc / sysconfig / networkファイルを
次のように私たちは、改正されています。
ホストマップ修正する4、
VIの/ etc / hostsを
この時点で、システムが再起動することができるようになります
5が配置された密にssh無料
-------------無料秘密のルート
キーのcloudera1生産
SSH-keygenは-t rsaの-P '' -f /root/.ssh/id_rsa
猫/root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
秘密鍵のコピーの生産にcloudera1,2,3
/root/.ssh CD
VI /root/.ssh/authorized_keys
------------- APPUSER免密
のsu APPUSERの
はssh-keygenは-t rsaの-P '' -f /home/appuser/.ssh/id_rsa
猫/home/appuser/.ssh/id_rsa。パブ>> /home/appuser/.ssh/authorized_keys
秘密鍵cloudera1,2,3のコピーの生産
SU APPUSERの
CD /ホーム/ APPUSER /
chmodの700の〜/ .ssh
.SSH CD
authorized_keysにタッチし
ます。chmod 640 authorized_keysに
VI /home/appuser/.ssh/authorized_keysを
ます。mkdir /アプリは/ opt
ます。mkdir /アプリは/ opt / APPUSER
のchown -R APPUSER：APPUSER /アプリは/ opt / APPUSER
二、CDHの展開
ルート/ b1gd @ te2017のcdhuser / cdhuser123！@＃
1を、時刻同期の設定（運用および保守を行うために無視されてきた）
MV /etc/yum.repos.d/ /etc/yum.repos
yumをNTPインストール
のchkconfig ntpdをON
ntpdの--list chkconfigを
2、展開CDH6
解凍センチとMySQLドライバ（無視）
JDKがインストールされ
可用性のJDKおよびアンインストールチェックする
RPMを-qa | grepのJDK
のyum -yのJava-1.6.0-OpenJDKの-develの-1.6.0.0-1.66.1.13.0.el6.x86_64削除する
RPMパッケージがすべてのJDKのアンインストールされています
-qa RPMは| grepをGCJ
のyum -yのJava-1.5.0-gcjの-1.5.0.0-29.1.el6.x86_64を削除します
-------------------------------------------------- OSSCmMysql01 --------------------------
1、JDKの
RPM -ivhオラクルj2sdk1.8-1.8.0 + update141-1.x86_64.rpm
viのは/ etc / profile
輸出JAVA_HOME =は/ usr / javaの/ jdk1.8.0_141、Clouderaの
輸出JRE_HOME = $ {JAVA_HOME} / JRE
輸出CLASSPATH = /：。$ {JAVA_HOME} / libに：$ {JRE_HOME} / libに
輸出PATH = $ {JAVA_HOME} / binに：$ PATHに
2、デーモンの
RPM -ivh ClouderaのManagerのデーモン-6.0.0-530873.e17.x86_64.rpm
。3、サーバー
ClouderaのManagerサーバ-6.0.0-530873.el7.x86_64.rpm -ivh RPM
（ジャンプ実行ステップ6）、
ClouderaのManagerサーバ-DB-2-6.0.0-530873.e17.x86_64.rpm -ivh RPM
。4、agant
複製リソース
のCP /app/soft/cloudera-manager-agent-6.0.0-530873 .el7.x86_64.rpmの/ var /キャッシュ/ yumを/ x86_64版/ 7 / Clouderaの-マネージャー/パッケージ/
CP /app/soft/cloudera-manager.repo /etc/yum.repos.d/
チェック
yumをrepolistすべて
すべてのyumのクリーン
取り付け
yumをインストールClouderaの-Y Managerのエージェント
。5、
ドライバをコピーし
た後、ターゲットパスにコピー認可さに注意を払う必要があり
ます。chmod 777 -コネクタ- JavaベースのMySQL 5.1.43-bin.jarを
ます。mkdir -pは/ usr /を共有/ Javaの/
CP /app/soft/mysql-connector-java-5.1.43-bin.jarは/ opt / Clouderaの/ CM＆LT / libに
CP /app/soft/mysql-connector-java-5.1.43-bin.jar /usr/share/java/mysql-connector-java.jar
6、CentOSの7安装パイソン
YUM CentOSの放出-SCLをインストール
YUM SCL-utilsのインストール
yumをインストールpython27
YUM -yインストールchkconfigのパイソンバインド-utilsのpsmiscのlibxsltはZLIBのSQLiteキュロス-SASL-無地サイラス-SASL-GSSAPIヒューズヒューズLIBS redhat- LSBのpostgresql *ポートマップのmod_sslのopenssl-develののpython-psycopg2のMySQL-pythonの
7、HTTPD
YUMのhttpdをインストール（展開）
8、初期化メタデータCDH
-HローカルホストのMySQL bd_cmmetadata_db -uroot- / OPT / Clouderaの/ CM /スキーマ/ scm_prepare_database.sh -pdl2PA64i - SCM SCM SCM SCM-ホストローカルホスト
9、修飾されたマスタノードのホスト名SERVERHOST。
VI /etc/cloudera-scm-agent/config.ini
追加
SERVER_HOST = alicm.cloud.9ffox.com
エージェントレプリケーション
10は、エージェントが追加
（）
を実行
CD /アプリケーション/ソフト/
RPMのOracle-j2sdk1.8-1.8.0 -ivhをupdate141-1.x86_64.rpm +
ソースの/ etc /プロファイル
のJava -version
CD /アプリ/ソフト/
rpmの-ivh ClouderaのManagerのデーモン・6.0.0-530873.el7.x86_64.rpm
のyum -y Clouderaのマネージャ・エージェントをインストールします
CP /app/soft/cloudera-manager.repo /etc/yum.repos.d/
ます。mkdir -pは、/ usr / share / javaの/
CP /app/soft/mysql-connector-java-5.1.43-bin.jar / USR /シェア/ javaの/
yumをClouderaのマネージャ・エージェントをインストール-y
ネットワークドライブは、上記（以下）で停止することができる
CP /app/soft/cloudera-manager-agent-6.0.0-530873.el7.x86_64.rpmの/ var /キャッシュ/ yumを/ x86_64版/ 7 / Clouderaの-マネージャー/パッケージ/
11は、各ノードが（YUMを使用して作成されていない）新しいユーザーを作成
マスターノード
のuseradd --system --home =の/ var / runの / Clouderaの-SCM-サーバー--no-作成-家を--shell = / binに/ 偽--comment "ClouderaのSCMユーザー" Clouderaの -scm
- （SHAに改名SHA1）コピー小包パッケージ
CD /アプリケーションは/ opt / Clouderaの
CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcelをSHA1SUM | awkは'{$ 1印刷}'> CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.shaの
CP CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel。 SHAは/ opt / Clouderaの/小包-レポ
CP CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcelは/ opt / Clouderaの/小包・レポ
CPのmanifest.jsonをは/ opt / Clouderaの/小包、レポ
12、開始する前に詳細を注意してください
"JAVA_HOME =は/ usr / javaの/ jdk1.8.0_141-Clouderaの" >>を/ etc / environmentエコー
源を/ etc / environment
猫に/ proc / sys / vm / swappinessを
エコー0>に/ proc / sys / vm / swappinessを
ソースに/ proc / SYS / VM / swappinessを
決して> / SYS /カーネル/ MM / transparent_hugepage /デフラグエコー
/エコー決して> / SYS /カーネル/ MM / transparent_hugepageを有効に
13、およびサーバがAgentを起動開始（ルートで開始）
マスターノードが起動し
、サービスClouderaの-SCM-サーバーが再起動し
、各ノードが開始
-サービス-SCM-AgentのClouderaの再起動
http://172.31.3.175:7180/とテスト・ログ管理者/管理者を
http://172.31.3.175:7180/cmf/home（アクセスをマッピングされた）
パスワードを変更した後である
http://jvcm.cloud.9ffox.com/cmf/login?logout
172.31.3.175:7180
管理者
管理者
バイナリは、ローカルインストールパッケージで修正するように指示
/アプリ/ Clouderaの/小包-レポを
ローカルのインストールディレクトリで追加
/アプリ/ Clouderaの/小包を
パスワード変更ADMIN / ivTm01ly
。6、データディレクトリとログディレクトリの
データディレクトリ
/アプリは/ opt / Clouderaの/ Clouderaの -data /飼育係の
ログディレクトリ
/アプリケーションは、/ opt / Clouderaの/ Clouderaのログ/のZooKeeper
。7、追加のため（小包にカフカロード小包例）
A、クラスタシャットダウン
Bを、ファイルのコピー
KAFKA-2.2.0-1.2.2.0.p0.68-el6.parcel.sha1 KAFKA- MVを 2.2.0-1.2.2.0.p0.68-el6.parcel.sha
KAFKA-2.2.0-1.2.2.0.p0.68 el6.parcel.sha-CP / MySQLのは/ opt / Clouderaの/ Clouderaの/小包-レポ/
CP-2.2.0-1.2.2.0.p0.68 KAFKA-EL6。小包/ mysqlのは/ opt / Clouderaの/ Clouderaの/小包-レポ/
カフカに複製を駆動する
KAFKA-1.2.0.jar
/ MySQLのは/ opt / Clouderaの/ Clouderaの/ CSD
元のコンフィギュレーションのJSON CDHにカフカの複製をmanifest.jsonをしますで
、C、開始クラスタとカフカの小包を活性化させる活性化し、再配布開始後にCMを覚えている
MySQLは、ルートCPを駆動する必要がありハイブにハイブを取り付けるとき8
コネクタ-777-のMySQLのchmodのJava-5.1.43-bin.jarを
auxlibとlib場所
CP /app/soft/mysql-connector-java-5.1.43-bin.jarを/ usr / share / javaの / mysqlのコネクタ-javaの.jar
HDFS認可APPUSER操作する権限
のHadoopのfs -ls /ユーザー
切り替えユーザー
（あなたはsuがusermodの/ binに/ bashのHDFS行う-sできない場合）
SU HDFS
のHadoop -lsのFS /ユーザー
HadoopのFSの-mkdir /ユーザー/ APPUSER
Hadoopの-chmod 777 FS /ユーザー/ APPUSER
Hadoopの-lsのFS /ユーザー
出口を
9、火花が展開
コマンド展開クライアント設定サービスは、スパークに失敗した実行
/app/opt/cloudera/cm-6.12.0/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_on_yarn_7681643532944931906/logs
再デプロイの顧客を見つけましたこのエラー終了
JAVA_HOMEが設定されていないとできます。エラーが見つかりませんでした
解決策はあるとして
Javaで作成された柔軟な接続
CDの/ usr
ます。mkdir javaの
LN -s /アプリは/ opt / javaのは/ usr / javaの/デフォルト
10、CDHページ内の個々のコンポーネントを削除し、FUWを削除アンインストール
lsofを| grepをCM-6
ビューは、ファイルを削除することはできません
し、その後RMを
11、oozieの展開
以下のlib oozieドライブコピーとlibextで必要でmysqlの
CP /app/soft/mysql-connector-java-5.1.43-bin.jar /usr/share/java/mysql-connector-java.jar
12、HBaseの测试
'テスト'、作成{NAME => 'F'を、VERSIONS => 1}は
、 'テスト'を置く'1'、 'F：ID'、 '1'
'：名F'、 'YG' 'テスト'、 '1'、置きます
「テスト」を取得する「1」
スキャン「試験」
12、ときHDFSを起動するために起動しませんでした
./hadoop名前ノード-format
図13は、ハイブに許可HDFS
Clouderaの管理に高いavalibilityを有効（使用/ APP / DFS / JNN）
SU HDFS
のHadoop -lsのFS /ユーザ
のHadoop FSの-mkdir /ユーザー/ APPUSERの
HadoopのFSは/ユーザー/ APPUSERを777 -chmod
Clouderaのマネージャの
設定パラメータは、
メタデータを自動的に更新ハイブを変更します
14クドゥインパラシェル操作を満足するように構成された（インパラシェル）
タブレットServer用（起動する）TLS / SSLを有効に
マスターにTLS / SSLを有効にする（起動します）
--Python（各マシン上に展開）プラグ
YUM GCCのpython-develのインストール
YUMキュロス-SASLをインストール*
以下は、再拡張に注意すべきです
サービスは使用できません：エラー読み出しクロック：クロックを初期化できません。クロック同期されていないと考えられ
クーズーインスタンス・ノードは、すべての64秒ディスカバリ・ノードの同期が完了していないntpstat出力非同期ポーリングサーバを実行します
15、カフカモニタリング
vimのkafka-monitor-start.sh
Javaの-Xms512M -Xmx512M -Xss1024K -XX：PermSizeを= 256メートル-XX：MaxPermSizeを= 512メートル-cp KafkaOffsetMonitor-アセンブリ-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb \
8088 --port \
--zk cloudera24： 2181年、cloudera25：2182、cloudera26：2181 \
--refresh 10.seconds \
--retain 1.day>を/ dev / null 2>＆1;
nohupを./kafka-monitor-start.sh＆
16、カフカ管理
（テスト環境は、外部ネットワークアクセス設定が必要）
advertised.host.name = cloudera5
リスナー
./kafka-topics.sh --zookeeper WEB01：2181、WEB02：2181、web03：2181 --list
./kafka-topics.sh --create --zookeeper WEB01：2181、WEB02：2181、web03：2181 -複製因子3 --partitions 20 --topic dp_business_topic_pro
./kafka-topics.sh --create --zookeeper WEB01：2181、WEB02：2181、web03：2181 --replication因子3 --partitions 20 --topic dp_crawler_topic_pro
./kafka-topics.sh --create --zookeeper WEB01：2181、WEB02：2181、web03：2181 --replication因子3 --partitions 20 --topic dp_srcmysql_topic_pro
./kafka-topics.sh --create -飼育係のWEB01：2181、WEB02：2181、web03：2181 --replication因子3 --partitions 20 --topic試験
./kafka-topics.sh --create --zookeeper WEB01：2181、WEB02：2181、web03：2181 --replication因子3 --partitions 20 --topic sf_intelligent_call
メタデータなし17、色相のインストール（PythonとMySQLのウィジェット）
/app/soft/mysql-connector-java-5.1.43-bin.jar /usr/share/java/mysql-connector-java.jar CP
yumのlibxml2の-pythonのインストール
yumを-yのpython-lxmlのインストール
CentOSの安装必要的库文件
のyumのkrb5-develのはサイラス-SASL-GSSAPIのcyrus-saslの-DEVEのlibxml2-develのlibxsltは-develのmysqlのmysqlの-develのOpenLDAPの-develののpython-develののpython-のsimplejson sqliteの-develのインストール
yumをサイラス-SASL-プレーンをインストールcyrus-SASL-develのサイラス-SASL-GSSAPI
HBaseの追加のスレッドで役割
HBaseのサーバーの第三
-インタフェースはPython prestosqlに設置されている
yumをインストールパイソン-Y-psycopg2
LN -s /usr/lib64/python2.7/site-packages/psycopg2 psycopg2
-インストールサービスのhttp
yumのhttpdのインストール
のcyrus-SASL-プレーンのdevelサイラスサイラス-SASL SASL-GSSAPI-インストールはyumを
有効にHBaseの構成
hbase.thrift.support.proxyuserの
hbase.regionserver.thrift.httpの
有効にするために色相構成
サーバーを色相ワイルドカードアドレスにバインドされたことは確認し
、デフォルトのログインは管理者/管理者であります
18、インパラ
ワイルドカードアドレスにバインドされたインパララマApplicationMasterは
飼育係HAとして選択されます
-------------------------------------------------- -
20、远程复制
SCP -r / etc / hostsのメリー-12：の/ etc /
SCP -r / etc / hostsのメリー-13：の/ etc /
SCP -r / etc / hostsのメリー-14：の/ etc /
SCP -r / etc / hostsのメリー-15：の/ etc /
SCP -r / etc / hostsのメリー-16：の/ etc /
SCP -r / etc / hostsのメリー-17：の/ etc /
SCP -r / etc / hostsのメリー-18：の/ etc /
SCP -r / etc / hostsのメリー-19：の/ etc /
SCP -r / etc / hostsのメリー-20：の/ etc /
SCP -r / etc / hostsのメリー-21：の/ etc /
SCP -r /など/ホストメリー-22：の/ etc /
の/ etc /：メリー23 SCP -r / etc / hostsの
SCP -r / etc / hostsのメリー-24：の/ etc /
SCP -r / etc / hostsのメリー-25：の/ etc /
SCP -r / etc / hostsのメリー-26：の/ etc /
SCP -r / etc / hostsのメリー-27：の/ etc /
SCP -r / etc / hostsのメリー-28：の/ etc /
SCP -r / etc / hostsのメリー-29：の/ etc /
SCP -r / etc / hostsのメリー-30：の/ etc /
SCP -r / etc / hostsの陽気-31：の/ etc /
SCP -r / etc / hostsのメリー-32：の/ etc /
SCP -r / etc / hostsのメリー-33：の/ etc /
SCP -r / etc / hostsのメリー-34：の/ etc /
SCP - R / etc / hostsのメリー-35：の/ etc /
SCP -r / etc / hostsのメリー-36：の/ etc /
SCP -r / etc / hostsのメリー-37：の/ etc /
メリー38 SCP -r / etc / hostsの：の/ etc /
SCP -r / etc / hostsのメリー-39：の/ etc /
SCP -r / etc / hostsのメリー-40：の/ etc /
SCP -r / etc / hostsのメリー-41：の/ etc /
SCP -r / etc / hostsの陽気-42：の/ etc /