記事のディレクトリ
序文
私は記事偵察サービスをプロファイリングオゾンデータ上の記事を書いた前に：「データ・アイ」の設計・ストレージ・システム-サービスをプロファイリングデータを、およそ定期的にOMの二次解析のスナップショットを取ることによって、偵察データを行う方法のプロセスについて説明します。しかし、それは偵察サービスが有効になっているか、そしてこのサービスが有効にされた後、実行する方法のその内部プロセスの過程を紹介しませんでした。私は、この作品の内容を補足するために、この記事に紹介されました。
オゾンリコンは、サービスを有効に
オゾンリコンサービスは、定期的に同期OMメタデータDBを経由して行うためにどの、メタデータOMに依存する必要があります。だからここにあなたがOM偵察サービスのためのメーリングリストのアドレスを設定する必要があり、ここに（9874がデフォルトのポートです）OMのhttpアドレスです、
<property>
<name>ozone.om.http-address</name>
<value>{om host}:9874</value>
</property>
その後偵察デシベル、偵察OM格納ディレクトリデシベル、これは我々はまた、追加の設定をお勧めします、
<property>
<name>ozone.recon.db.dir</name>
<value>/path/to/recon.db</value>
</property>
<property>
<name>ozone.recon.om.db.dir</name>
<value>/path/to/recon_om.db</value>
</property>
次は、時間偵察OM DBファイルの同期間隔で、これは実際にデフォルトが10分同期一旦、設定する必要がありますを使用することができます。
<property>
<name>recon.om.snapshot.task.interval.delay</name>
<value>3m</value>
</property>
上記の構成の確認応答が設定した後、我々は偵察サービスを開始するために開始し、次のコマンドを実行することができ、
~/apache/ozone/bin/ozone --daemon start recon
そして、偵察にログインし、我々は明らかに、その内部動作が実行されている見ることができます
2019-12-15 07:28:33,697 [main] INFO - Starting Recon server
2019-12-15 07:28:34,921 [main] INFO - Registered task ContainerKeyMapperTask with controller.
2019-12-15 07:28:35,178 [main] INFO - Registered task FileSizeCountTask with controller.
2019-12-15 07:28:35,341 [main] WARN - ozone.recon.om.db.dir is not configured. We recommend adding this setting. Falling back to ozone.metadata.dirs instead.
2019-12-15 07:28:35,539 [main] INFO - Starting ReconOMMetadataManagerImpl
2019-12-15 07:28:35,539 [main] WARN - ozone.recon.om.db.dir is not configured. We recommend adding this setting. Falling back to ozone.metadata.dirs instead.
2019-12-15 07:29:35,541 [pool-8-thread-1] INFO - Syncing data from Ozone Manager.
2019-12-15 07:29:35,542 [pool-8-thread-1] INFO - Obtaining full snapshot from Ozone Manager
2019-12-15 07:29:36,917 [pool-8-thread-1] INFO - Got new checkpoint from OM : /home/hdfs/data/meta/om.snapshot.db_1576420175542
2019-12-15 07:29:37,062 [pool-8-thread-1] INFO - Created OM DB snapshot at /home/hdfs/data/meta/om.snapshot.db_1576420175542.
2019-12-15 07:29:37,342 [pool-8-thread-1] INFO - Calling reprocess on Recon tasks.
2019-12-15 07:29:37,345 [pool-6-thread-1] INFO - Starting a 'reprocess' run of ContainerKeyMapperTask.
2019-12-15 07:29:37,939 [pool-6-thread-1] INFO - Creating new Recon Container DB at /home/hdfs/data/meta/recon.db/recon-container.db_1576420177346
2019-12-15 07:29:37,940 [pool-6-thread-1] INFO - Cleaning up old Recon Container DB at /home/hdfs/data/meta/recon.db/recon-container.db_1576384466698.
2019-12-15 07:29:37,997 [pool-6-thread-1] INFO - Completed 'reprocess' of ContainerKeyMapperTask.
2019-12-15 07:29:37,998 [pool-6-thread-1] INFO - It took me 0.651 seconds to process 0 keys.
201
そのため、起動時にこれらの偵察サーバーの、それはそうそこには鍵は上記の処理されていないですが、実際には偵察DBファイルが作成された、キーファイルのいずれかを作成していません。
[hdfs@lyq meta]$ ls -l /home/hdfs/data/meta/recon.db/
total 44
drwxrwxr-x 2 hdfs hdfs 4096 Dec 14 08:42 om.db.checkpoints
-rw-rw-r-- 1 hdfs hdfs 36864 Dec 16 07:19 ozone_recon_sqlite.db
drwxr-xr-x 2 hdfs hdfs 4096 Dec 15 07:38 recon-container.db_1576420725643
Ozone_recon_sqlite.dbは、上記のデータサマリー表のデータ分析を格納するために使用されます。
OMスナップショットDBファイル、私は上の別のディレクトリに配置された試験したとき、
[hdfs@lyq meta]$ ls -l
total 32
drwxrwxr-x 2 hdfs hdfs 4096 Dec 15 07:38 om.snapshot.db_1576420724252
その後、我々は、ランダムにキーファイルのオゾンフロンツールの少数を作成し、
[hdfs@lyq logs]$ ~/apache/ozone/bin/ozone freon randomkeys --numOfVolumes=1 --numOfBuckets=1 --numOfKeys=2 --keySize=10240
2019-12-15 07:37:57,102 INFO impl.MetricsConfig: Loaded properties from hadoop-metrics2.properties
2019-12-15 07:37:57,158 INFO impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s).
2019-12-15 07:37:57,158 INFO impl.MetricsSystemImpl: ozone-freon metrics system started
2019-12-15 07:38:03,571 [main] INFO - Number of Threads: 10
2019-12-15 07:38:03,574 [main] INFO - Number of Volumes: 1.
2019-12-15 07:38:03,575 [main] INFO - Number of Buckets per Volume: 1.
2019-12-15 07:38:03,575 [main] INFO - Number of Keys per Bucket: 2.
2019-12-15 07:38:03,575 [main] INFO - Key size: 10240 bytes
2019-12-15 07:38:03,575 [main] INFO - Buffer size: 4096 bytes
2019-12-15 07:38:03,575 [main] INFO - validateWrites : false
2019-12-15 07:38:03,585 [main] INFO - Starting progress bar Thread.
0.00% |? | 0/2 Time: 0:00:002019-12-15 07:38:03,600 [pool-2-thread-2] INFO - Creating Volume: vol-0-85226, with hdfs as owner.
2019-12-15 07:38:04,107 [pool-2-thread-1] INFO - Creating Bucket: vol-0-85226/bucket-0-19333, with Versioning false and Storage Type set to DISK and Encryption set to false
0.00% |? | 0/2 Time: 0:00:012019-12-15 07:38:04,839 WARN impl.MetricsSystemImpl: ozone-freon metrics system already initialized!
0.00% |? | 50.00% |??????????????????????????????????????????????????? 100.00% |?????????????????????????????????????????????????????????????????????????????????????????????????????| 2/2 Time: 0:00:04
***************************************************
Status: Success
Git Base Revision: e97acb3bd8f3befd27418996fa5d4b50bf2e17bf
Number of Volumes created: 1
Number of Buckets created: 1
Number of Keys added: 2
Ratis replication factor: ONE
Ratis replication type: STAND_ALONE
Average Time spent in volume creation: 00:00:00,048
Average Time spent in bucket creation: 00:00:00,006
Average Time spent in key creation: 00:00:00,056
Average Time spent in key write: 00:00:00,441
Total bytes written: 20480
Total Execution time: 00:00:11,299
***************************************************
その後、我々はあなたが書き込まれる新しいキーが処理されている見ることができ、次の同期プロセスOM DBファイルを持っています。
2019-12-15 07:38:45,421 [pool-8-thread-1] INFO - Created OM DB snapshot at /home/hdfs/data/meta/om.snapshot.db_1576420724252.
2019-12-15 07:38:45,642 [pool-8-thread-1] INFO - Calling reprocess on Recon tasks.
2019-12-15 07:38:45,643 [pool-6-thread-1] INFO - Starting a 'reprocess' run of ContainerKeyMapperTask.
2019-12-15 07:38:46,272 [pool-6-thread-1] INFO - Creating new Recon Container DB at /home/hdfs/data/meta/recon.db/recon-container.db_1576420725643
2019-12-15 07:38:46,272 [pool-6-thread-1] INFO - Cleaning up old Recon Container DB at /home/hdfs/data/meta/recon.db/recon-container.db_1576420543845.
2019-12-15 07:38:46,875 [pool-6-thread-1] INFO - Completed 'reprocess' of ContainerKeyMapperTask.
2019-12-15 07:38:46,876 [pool-6-thread-1] INFO - It took me 1.233 seconds to process 2 keys.
2019-12-15 07:38:47,303 [pool-6-thread-1] INFO - Completed a 'reprocess' run of FileSizeCountTask.
しかし、これらの分析結果は、データのみが、ozone_recon_sqlite.db書かれているだけでなく、外部の使用に提示されていない、この機能は多くのことを改善するために従うべきです。現在、偵察サーバーのUIは、フォローアップは、より多くのデータを行います統合し、単純なページの表示です。私たちは、フォローアップの進捗リコンに注力し続けることができ、現在のオゾンコミュニティは仕事偵察2.0の段階で達成しています。ショーのWeb UI以下リコン：
