ビッグデータのキーテクノロジー - ビッグデータ収集
この記事の内容:
1. 前に書かれた言葉
私は小さな家に住んでおり、二点一線の生活は外界からほとんど隔離されています。私も幸運です。周りの人々は私にとても親切です。何をしても意図的に行動しません。私を傷つけたので、善悪を挑発し、他人に意図的に誤解され、そしてお互いを憎むとは予想していませんでした。彼らは、文脈を無視したり、録音の傍受した部分を特別な状況で再生して人々を誤解させたり怒らせたり、さらには直接ハイテク感情操作を行って感情的に崩壊させたりするなど、さまざまな改ざん手法を使用します。わざと他人に見てもらってこう言わせる それが人間というものだ。。。あなたを黒くする方法は無限にあります。。。
このような特殊な環境では、自己調整する能力が重要です。少し前に先輩ブログに個人的な意見を書きましたが、その記録は以下の通りです。
個人的には、新しい環境では「タフさ」をプラスした方が良いのかもしれない。つまり、世界（人、物、事）がどのように変化しても、打撃に耐え、心の平和と自己調整能力を維持し、さまざまな事故に冷静かつ適切に対処し、万物の正常な進行を保証することができます。。。
「回復力」をどう説明したらいいのかわかりませんが、「回復力」とは、私が最近異常な打撃や攻撃を受けた時の経験を要約したものです。つまり、どんな打撃や困難に遭遇しても、元に戻ろうとするということです。状態 変わったからといって元の性格を変える、変わったからといって動揺しない、変わったからといって他人を責めない、変わったからといって自分のやりたいことを諦めない。。。。
「タフさ」というのは、自然の法則に背いたり、故意に自分を傷つけたりすることではありませんが、なんというか。打撃に対する個人的な抵抗に似ています。安心感というのは、時には私たちにはどうすることもできないものであり、特殊な状況下では、ある種の安心感は、先ほど言った「タフさ」という言葉でしか対応できないものであり、その「タフさ」こそが、負けられない「タフさ」なのです。元の状態に戻り、困難を無視し、自分自身に安心感を与える自己調整能力に頼ってください。
たとえば、
1. 今日、誰かが理由もなくあなたを困らせたり、不快な言葉を言ってイライラさせたりします。自分を律する方法を学ぶ必要があります。難しいことはたくさんありますが、その中には
本来の受け入れ能力を超えているものもあります。疲れ果てているとき。倒れそうになるが、周りに理解してくれる人は誰もおらず、すべての痛みは自分で治す必要がある。
3. 当初計画では完璧だと思われていたことが、突然理由もなく不可解な事故に遭遇し、結果として起こること。。。混乱を最短時間で片づけるために自分を調整する方法
4. 家族や友人がさまざまな問題（争い、病気、さらには理不尽なトラブル）を抱えているとき、自分のプロジェクトが急いでいてうまく進んでいないとき、あなたはそうしているように見えます疲れていると多くの問題が発生します。。。見込み客は混乱し、途方に暮れますが、どうすれば涙をぬぐい、笑顔で人生に臨むことができるのでしょうか？
。。。
崩壊と自己修復を繰り返して磨きをかける。。。大変ですし、今も一生懸命勉強していますが、戻ってきたら、あの頃の少年のままです。
雨の中を続けてください。次の瞬間、運命がどう転ぶかは誰にも分かりません。陰の苦いささやきは、成長への洗礼。真似できない自分は、怪我をしていてもスタイリッシュに見せてくれる。これは気性ではなく、いわゆる野心と勇気です。あなたは私を崖から突き落とすことができます、そして私は飛ぶことを学ぶことができます。誰の命令も聞かず、とても独立心が強く、耳は自分の心の声を聞くために使われます。追伸：
私のことを気にかけてくれる友人たちへ:
私は大丈夫、心配しないでください、私は今でも昔と同じ人間です、私は変わっていません。言いたいことはたくさんあるけど言えない 一言だけ言えるのは「お身体に気をつけてください。晴れる日を待っています、言ってください」その時何が起こったのか。
逆境でも冷静に
2023.9.5
2. ビッグデータ収集の概念
関係するさまざまな分野に応じて、ビッグデータの主要テクノロジーは、ビッグデータ収集、ビッグデータ前処理、ビッグデータ保管と管理、ビッグデータ処理、ビッグデータ分析とマイニング、ビッグデータ処理に分類できます。 : ビッグデータの収集、ビッグデータの前処理、ビッグデータの保存と管理、ビッグデータの分析とマイニング、ビッグデータのプレゼンテーションとアプリケーション (ビッグデータの検索、ビッグデータの視覚化、ビッグデータのアプリケーション、ビッグデータのセキュリティなど)
ビッグデータの取得は、ビッグデータのライフサイクルにおける最初のリンクであり、ビッグデータ業界の基礎です。
ビッグデータ収集はビッグデータ分析への入り口であり、ビッグデータ分析における重要なリンクです。
ビッグデータ収集
ビッグデータ収集とは、さまざまな技術的手段を通じて大量のデータを収集および整理するプロセスを指します。収集されたデータは、Web サイト データ、ソーシャル メディア データ、電子メール、ログ ファイル、センサー、エンタープライズ アプリケーションなどの構造化データおよび非構造化データを含む、さまざまなデータ ソースから取得されます。
通常、取得プロセスでは、Web クローラー、データ マイニング、自然言語処理など、さまざまな技術ツールや技術プラットフォームを使用する必要があります。
ビッグ データ アプリケーションの分野では、収集はデータ処理プロセス全体の非常に重要な部分です。ビッグデータから有用な情報を収集することは、すでにビッグデータの開発における重要な要素の 1 つです。
3. ビッグデータ収集の手順
(3.1)、ビッグデータ収集手順 (全体的な観点)
ビッグデータの収集には通常、次の手順が含まれます。
- データ収集の範囲と目的を決定します。データ収集の時間、場所、データの種類、データ形式、およびデータ量を決定します。
- さまざまなデータ ソースに適切なテクノロジーを採用します。たとえば、センサーからのデータ収集には IoT テクノロジーの使用が必要な場合があり、ソーシャル メディアからのデータ収集には API の使用が必要な場合があります。
- データの収集と処理プロセスの設計: データの抽出、変換、ロード (短縮して抽出、変換、ロード、ETL) を含みます。
- データの正確性と整合性を確保する: クリーニング、重複排除、フォーマットなどの操作によりデータの品質を確保します。
- データ ストレージ: 収集したデータを、その後のデータ分析と適用のために適切なデータベースまたはデータ ウェアハウスに保存します。
(3.2)、ビッグデータ収集ステップ (データセットの観点)
(3.3)、ビッグデータ収集ステップ (データセットの観点)
ビッグデータの取得手順 (データセットの観点):
収集要件、ルール設定、タスクのスケジューリング、タスクの監視、データの照合、データのリリース、データのトランザクション、データの配信
ビッグデータ収集のプロセスでは、収集されたデータが盗まれたり悪用されたりしないように、プライバシーやデータセキュリティなどの問題を考慮する必要があります。
4 番目に、データ ソースとデータ型の関係
4.1 、ビッグデータ システム データ
ビッグデータ システムでは、従来のデータはビジネス データと産業データに分類され、従来のデータ システムでは考慮されていなかった新しいデータ ソースには、コンテンツ データ、オンライン行動データ、オフライン行動データが含まれます。
新しいデータ ソースには次のものが含まれます。
▷ オンライン行動データ：ページデータ、インタラクションデータ、フォームデータ、セッションデータなど。
▷ オフライン行動データ：生体特徴を収集する顔認証や指紋認識技術、デバイスの特徴を収集するWiFiプローブ、iBeacon認識技術など、これらの技術はすべてオフラインのビッグデータの収集と分析を試みている。
▷ コンテンツデータ：アプリケーションログ、電子文書、機械データ、音声データ、ソーシャルメディアデータなど
認識技術は分野ごとに役割が異なり、それぞれが独立したシステムとして存在することもあれば、さまざまな方法で統合することもできます。
4.2、データソースとデータ型の関係
ビッグデータの処理には、構造化データの分散処理には Hadoop と Spark、非構造化データの分類とラベル付けには機械学習アルゴリズムなど、データの種類ごとに異なる処理方法とテクノロジーが必要です。したがって、ビッグデータ処理のプロセスでは、データソースとデータタイプの関係を理解することが非常に重要です。
ビッグ データ システムにおけるデータ ソースとデータ型の関係は、次の図に示されています。
ビッグ データ システムでは、データ ソースとデータ タイプは密接に関連しています。
データ ソースは通常、ビッグ データのストレージと処理の開始点を指します。データ ソースには、センサー、Web サイト、ソーシャル メディア、IoT デバイス、モバイル アプリケーション、クラウド ストレージ、データベースなど、さまざまなタイプのデータ ソースが含まれます。
異なるデータ ソースには異なる種類のデータが含まれる場合があります。たとえば、センサー データは通常構造化データですが、ソーシャル メディアの投稿やコメントは半構造化データ、写真やビデオは非構造化データです。
5. ビッグデータ システムのデータ型
ビッグデータシステムにおけるデータタイプとは、データの種類と形式を指し、主に構造化データ、半構造化データ、非構造化データの3種類が含まれます。
5.1. 構造化データ
構造化データ:
構造化データとは、特定の形式とルールで編成されたデータを指し、そのデータ要素間には明確な関係と階層があり、保存、処理、分析が容易です。データ要素は固定フォーマットで編成されており、簡単に編成、分類、インデックス付け、検索、クエリを行うことができます。データは通常、リレーショナル データベースの表形式データ、スプレッドシート、CSV (カンマ区切り値) ファイルのデータなど、表、リレーショナル データベース、または XML の形式で表示されます。このデータ型は通常、処理と分析が簡単で、その形式も非常に標準化されており、保存、管理、クエリが簡単です。
これらのデータ構造は、明確に定義されたデータ型とフィールド名を使用して、数値、日付、テキスト、金額、タイムスタンプ通貨、比率、証明書、住所、電話番号、電子メールなどに焦点を当てています。構造化データは処理と管理が簡単で、SQL クエリやその他のデータ分析ツールを通じて分析および処理できます。構造化データの明確な構造と組織形態により、データ分析、機械学習、人工知能アプリケーションなどの分野で広く使用されています。エンタープライズデータ管理システム、ビジネスレポートなど。
構造化データとは、表形式で保存されたデータを指し、その特徴は次のとおりです。
1. データは固定構造に従って編成されており、各データ項目には明確に定義されたデータ型と属性があります。
2. データの保存方法はシンプルかつ明確で、通常はクエリや分析に便利なリレーショナル データベースの形式で保存されます。
3. データの処理や管理が比較的容易で、SQL などの標準化された言語で運用できる。
4. データの精度と一貫性が高く、データ品質の維持管理に貢献します。
5. 構造化データの処理方法は比較的固定されており、分析とマイニングには一般的な統計アルゴリズムと機械学習アルゴリズムを使用できます。
5.2. 半構造化データ
半構造化データ:
半構造化データとは、従来のリレーショナル データベース データ モデルの要件を満たさないデータを指します。通常、指定された構造を持たず、構造化データと非構造化データの間にあるデータ型を指します。その構造は構造化データほど標準化されていません。 . . ただし、XML、JSON、YAML など、識別と説明のためのデータがあります。
半構造化データは主に Web アプリケーション、テキスト処理、意味分析などの分野で使用され、データ処理の柔軟性要件を十分に満たすことができます。一般的な半構造化データ ソースには、ログ ファイル、ソーシャル メディア データ、センサー データなどが含まれます。
半構造化データには通常、次の特徴があります。
1. データは特定の構造を持っていますが、厳密にはテーブルの形式ではなく、複数レベルの入れ子構造を含むことができます。
2. 事前にテーブル構造を定義する必要がなく、必要に応じてデータ内のフィールドを動的に追加または削除できます。
3. データは、さまざまなアプリケーション シナリオやニーズに非常に柔軟に適応できます。
4. データは通常、XML や JSON などの形式で保存および送信されます。
5.3. 非構造化データ
非構造化データ:
非構造化データとは、テキストドキュメント、オーディオ、ビデオ、画像、その他のデータタイプなど、明確な構造を持たないデータを指します。これらのデータは通常、非常に複雑かつ多様であり、表形式や 2 次元の行列形式に簡単に変換することはできません。従来の構造化データのストレージと管理方法を使用して処理するのは困難です。したがって、これらのデータを分析および処理するには、特別な技術とツールが必要です。
この種のデータは、多くの場合、テキスト分析、自然言語処理、画像処理などの技術を使用した処理と分析を必要とします。現在、非構造化データの利用が増加しており、人工知能や機械学習などの分野で幅広い応用価値を持っています。
したがって、さまざまな種類のデータ ソースがデータの種類に影響を与えることが多く、また、データの種類が異なれば、処理と分析に異なるテクノロジと方法が必要になります。
6. ビッグデータ収集技術
ビッグデータの収集は、データ ソースから 4 つのカテゴリに分類できます。
6.1、ウェブデータ収集
(この写真はインターネット www.yisu.com/news/id_335.html からのものです)
ネットワーク データ収集とは、Web クローラーまたは Web サイトのパブリック API を通じて Web サイトからデータ情報を取得するプロセスを指します。
Web クローラーは、1 つまたは複数の最初の Web ページの URL から開始し、各 Web ページのコンテンツを取得し、Web ページをクロールするプロセスで、現在のページから新しい URL を継続的に抽出し、設定された停止条件が満たされるまでキューに入れます。会った。
このようにして、非構造化データと半構造化データを Web ページから抽出し、構造化された方法でローカル ストレージ システムに保存できます。
6.2. システムログの収集
(この写真はネットワークdeveloper.aliyun.com/article/594990からのものです)
システムログ収集
システムログ収集とは、オペレーティングシステム、アプリケーション、ネットワークデバイスによって生成されるログなど、コンピュータシステム内で生成されるログ情報の収集を指します。これらのログ情報を収集することで、セキュリティ管理者やシステム管理者は、システムの稼働状況をリアルタイムに監視し、システムの障害や異常を発見し、タイムリーな対策を講じて、システムの安全で安定した稼働を確保することができます。
システム ログ収集では、通常、後続のクエリ、分析、レポート用にログ収集エージェントまたはソフトウェアをインストールすることにより、ログ情報を中央ログ サーバーまたは中央ログ管理プラットフォームに収集し、保存および管理します。収集したシステムログ情報は、トラブルシューティング、セキュリティ監査、コンプライアンス監視などに活用できます。
高可用性、高信頼性、拡張性はログ収集システムの基本的な特性です。システム ログ収集ツールはすべて分散アーキテクチャを採用しており、毎秒数百 MB のログ データ収集および送信要件を満たすことができます。
6.3. データベースの取得
データベースビッグデータの取得
データベース ビッグ データ コレクションとは、通常、分析とアプリケーションのために、さまざまなデータ ソースから集中データベースに大量のデータを収集することを指します。これらのデータ ソースには、センサー、Web サイト、ソーシャル ネットワーク、モバイル デバイスなどのさまざまなデータ ソースが含まれます。データ収集の目的は、潜在的な傾向とパターンを明らかにし、より多くの情報に基づいたビジネス上の意思決定を行うために、詳細な分析とマイニングに必要な十分なデータを収集することです。
ビッグデータを収集するときは、次の点を考慮する必要があります。
1. 収集されるデータの種類: データの種類には、構造化データ、半構造化データ、または非構造化データがあります。これらのデータの種類によって収集方法や収集ツールが異なるため、データの種類に応じて収集ツールを選択する必要があります。
2. データ ソース: 通常、データを収集するには、センサー、データベース、Web サイト、ソーシャル ネットワークなど、複数のデータ ソースがあります。データソースの特性に応じて収集方法やツールを選択する必要があります。
3. データ収集技術：データ収集技術にはクローラやETLなどがあり、収集するデータの種類やソースに応じて適切な収集技術を選択する必要があります。
4. データ収集の頻度: データの適時性と正確性を確保するために、さまざまなデータ ソースとデータ タイプに応じてデータ収集の頻度を決定します。
5. データ収集の保管と処理: 収集されたデータは、その後の分析と適用のために保管および処理する必要があります。ニーズを満たすためには、適切なストレージおよび処理テクノロジーを選択する必要があります。
従来の企業は、MySQL や Oracle などの従来のリレーショナル データベースを使用してデータを保存しました。
6.4. その他のデータ（センサー機器などのデータ収集）
(この写真はインターネットからのものです)
知覚デバイスのデータ収集とは、センサー、カメラ、その他のスマート端末を通じて信号、写真、またはビデオを自動的に収集してデータを取得することを指します。ビッグデータインテリジェント認識システムは、構造化、半構造化、および非構造化大量データのインテリジェントな識別、測位、追跡、アクセス、送信、信号変換、監視、予備処理および管理を実現する必要があります。その主要テクノロジーには、インテリジェントな識別、認識、適応、送信、ビッグ データ ソースへのアクセスが含まれます。
七、ビッグデータ収集方法
ビッグデータの収集方法：
▷ 1. バッチ収集：特定のWebサイトやシステムから大量のデータを収集し、収集したデータを分析および処理することを指します。
▷ 2. リアルタイム収集:リアルタイムの処理および分析のためのデータのリアルタイム収集を指します。
▷ 3. 増分収集:最新のデータを取得するために、既存のデータを定期的に増分収集することを指します。
▷ 4. 自動収集:自動手順を使用してデータ収集を実現し、手動介入を減らし、収集効率を向上させます。
▷ 5. 協力収集：他の機関や組織と協力して、共有データを取得し、ビッグデータ分析を実施します。
8. ビッグデータ収集の特徴
従来のデータ収集技術と比較して、ビッグデータ収集技術には次のような特徴があります。
▷ 1. 大規模：ビッグデータ取得テクノロジーは、構造化データ、半構造化データ、非構造化データを含む、より大規模なデータを処理できます。
▷ 2. 高速化:ビッグデータ取得テクノロジーは、データを迅速に取得し、リアルタイムまたはほぼリアルタイムでデータを処理して、より迅速な意思決定を行うことができます。
▷ 3. 多様性の強化：ビッグデータ収集テクノロジーは、ソーシャルメディア、センサー、ログ、ビデオ、その他のデータを含むさまざまなソースからデータを収集できます。
▷ 4. より高い精度：ビッグデータ取得テクノロジーは、より正確で細かいデータを処理し、データに対して帰納や分類などの操作を実行してデータ品質を向上させることができます。
▷ 5. より高度な自動化:ビッグデータ取得テクノロジーにより、データを自動的に取得して処理できるため、手動による介入やエラーが削減されます。
▷ 6. コストの削減:ビッグデータ収集テクノロジーのコストは、ハードウェアとソフトウェアのコストを含め、通常、従来のデータ収集テクノロジーよりも低くなります。
ビッグデータに関する記事:
- ビッグデータ (1) 定義と特徴
- ビッグデータ (2) ビッグデータ産業に関する統計
- ビッグデータ (3) ビッグデータに関わる仕事
- Echartsに基づいてビッグデータ視覚化大画面を構築
- ビッグデータ (4) 主流のビッグデータ技術
- ビッグデータのキーテクノロジー - ビッグデータ収集
推奨読書:
|
|
|
|
| 写真の背景色を変更する (Python+opencv) | 12種類の猫 | 大規模モデルに基づく仮想デジタル ヒューマン__仮想アンカーの例 |
|
|
|
|
| コンピュータ ビジョン__基本的な画像操作 (表示、読み取り、保存) | ヒストグラム（カラーヒストグラム、グレースケールヒストグラム） | ヒストグラムイコライゼーション（画像の明るさ、コントラストを調整） |
|
|
|
|
|
|
|
|
