Baiduの大規模データのオープンミーティングでは、学術的なコンピュータに懐金鵬大統領の演説に従事するためには、すべてのリスナーを失うようなもので、誰にでも主要な学術講演会を妊娠は霧の混乱、所有者が目まい、フィールドおそらく、あなたはその利己的な演説の中で、一般的に妊娠中のプリンシパルのエイリアンのようなビットを感じるだろう、絶対的少数派を理解することができます。一度人工知能の研究に興味のある人が、逃し、コンピュータサイエンスの卒業生は、より多くの人々が興奮している聞いているとおり、どこか、それは将来の人工知能の可能性が到着する可能性を発見したようだ、私は今、教授を想像してみてください我々はそれの言語を理解できるよう音声変換。
まず、ビッグデータを理解します
大規模な、急激な変化、複雑な、価値の低い密度の種類：1、4、現在のビッグデータを提供しています。
実際には、これは理解することは非常に簡単です、我々は新浪微博ビッグデータを見て、知って、なぜ実現はそう難しく、新浪微博は、ユーザデータのパンDahai大量に持っているが、これらの現金が、行動データを苦労し、その理由は、マイクロブログですデータはさらに困難掘ることです非常に広いが関与し、ビジネスの価値に関連付けることができ、垂直十分に生成されました。
2、業界の業績
妊娠中には三つの主要コンテンツを引用し、百度とGoogleは、これにより、パーソナライズ検索を提供し、使い慣れたユーザーの閲覧行動です。なぜなら馴染みのアマゾン淘宝網のユーザーのショッピング習慣は、ユーザーのための正確な設定項目を提供することができます。マイクロブロギングとTwitterは思想と社会的認知、感情のユーザーの習慣を理解し、他の人々は国家や企業のためのデータを提供することができます。
第二に、大規模なデータの計算に大きなデータ
1、大規模なデータの拡張、どのようなアルゴリズムとデータを扱うには？上記の目的は、データを通じて、アルゴリズムを変更することで実現しますが、実際のプロセスデータに本質的には、アルゴリズムのエンジニアは、それが今であるやる、まだそこにCPUのボトルネックマシンのすべての操作の後にそう効率的に行うことができませんさ操作のいくつかの条件の下で、最良の結果を得るために、最適なソリューションを設計します。
2、大規模なデータ拡張、どのように探索問題を解決するには？計算するために、オリジナルのアルゴリズムが最速現在の検索速度のハードディスク（60GPSによると、確かではないと、データ量が少ないので、検索データが、問題ありませんが、大規模なデータの増加の問題が顕著になる際に伝統的なアルゴリズム）、リニアスキャンデータエンド1PB（15 10TB電力）が1.9日の時間、大容量データの拡張を必要とされる、データ処理アルゴリズムは、再構成の戦略を実行しなければなりません。Baiduは現在、アルゴリズムの最善であると考えられて操作が含まれており、読み取ったデータ処理、Webページ、、の音量日10PBを処理します。
妊娠中の校長は、この課題は、オリジナルのアルゴリズムの近似アルゴリズムを交換するだけではなく、同じデータでも、おおよそのデータを既存のマシンで2つだけの可能な力変化を置き換えられます、ビッグデータの展開後、ある私たちに語りました最適な結果は、コンピューティングパワーの場合に到着しました。
同じことが容易であり、この近似は元のアルゴリズムの結果に最も近いことができるようにどの程度、最終的に、この近似アルゴリズムと近似データを変更することで、行うよりも前記？あなたは小さいかもしれない量を変更するには、コンピュータの世界では、マイルの彼の何千もの損失の違いを知っているが、誤り訂正後、それは巨大なエラーが発生する原因となります場合、人々は小さなプログラムは、数行のコードを知って理解しますかかわらず、強力なコンピュータの多くは、完全にクラッシュするようにするCPUパワーのが、検索エンジンは、より多くの大規模な試行錯誤エンジニアリングです。
最後に、プリンシパルは学術的発展の2つの妊娠中の最前線を示し、まず、ソリューションを実際のアプリケーションからの検索の問題のこのタイプを見つけるために、問題の種類を定義するために簡単に簡単です、それは分類され、他の練習に適用されます。第二に、小さなデータ処理における大規模データは、彼がデータを探して前に言ったことの近似値をある変換の精度の尺度を探しています。
また、ビッグデータ・コンピューティングでは、社長も対策を述べたと理解し、操作の3つの妊娠中の大規模なデータ・ベースについて話しました。あまりにも専門的なので、私たちが立って場所を説明するために、物品と各単語を説明するのに十分で、必ずしも明確ではないので、ここでは無視。
実際には第三に、パラダイムシフト
ビッグデータは私たちの研究政策と実践のパラダイムシフトを与えます。
1、最寄りの不正確から。この事実はよく理解について、我々はいくつかの情報を問い合わせるに行ったとき、私たちは伝統的な検索の時代に、伝統的な検索の時代を取った、私たちは、すべてのデータがある取得する必要がありますが、検索エンジンが完全に変更されます我々は、検索エンジンが前にのみいくつかのことを提供し、いくつかの項目は、完全に私たちの情報ニーズを満たしていることを、このことを知っています。
実際には、検索エンジンが行う利用者の前にもたらした最高の結果を計算するために、だけでなく、伝統的な定義を覆すために一連のアルゴリズムによって、ファジーアルゴリズムのセットです。この結果に、ターゲットの認識を示し、ビッグデータの時代、私たちはもはや絶対的な目標を追求していないが、いくつかの漠然とした不正確な未知の標的を押し下げ、マクロトレンドに由来しています。
図2は、サンプルから私たちは、このような体系的なサンプリング、層化抽出、クォータサンプリング......、これらの統計的手法として、統計的サンプリングは最大の方法です行う教会産業の伝統の中で、完全な、大きな大きなデータが特徴大決定サンプリング、それは、ますますビッグデータの時代に存在しなくなります。ビッグデータ情報は、あなたが統計にすべてをしたい統計データすることができ、統計的手法は、工業化時代を排除します。
図3に示すように、因果関係から。「理論は死んでいる」「神の死」、「人の死」、「作者の死」、「歴史の終り」であると「哲学は死んでいる - これは、西は驚くべき発言を生産しているに直接つながりました後に「別の大胆な発言。問題、原因と結果の決意の後に到達することができる様々な理論、を参照する必要がありますが、ビッグデータの時代には、このような大規模なスーパーマーケットのデータとして、より簡単に意思決定を行うことを決定するために、前の意思決定者は、クリアなチャートで語られますあなたは雨の日、スーパーマーケットがよりケーキ、意思決定者がどのような理論、任意の原因と結果を知る必要はありません。この時間を販売する時はいつでも、唯一の私たちはライン上に天気予報では明日、雨になりますケーキを準備するために、事前に予測する必要があります。
第四に、ビッグデータのソフトウェアエンジニアリング
1、どのように大きなデータ・コンピューティング・サポートの問題を解決するには？単純なポイント、大規模なデータ処理が必ずしも一つまたはささいなことを得ることができ、いくつかのサーバーではありませんが言った、ビッグデータ処理ハードウェアのサポートがデザインを配布するためにバインドされ、巨大なハードウェアのサポートを必要とし、どのようにして、トップレベルのシステム設計アーキテクチャは、大規模なデータの高性能処理を満たすために？近似（不正確）、（インクリメンタル）の増加とどのように会うの誘導（誘導）3I機能？
ビッグデータの下で配布どのように共同のハードウェアとソフトウェア、どのように拡張された治療失敗と制御のうちエネルギー消費量の損失を避けるために、これらは非常に大きな問題ヘッドです。システム設計に挑戦。
2、ビッグデータがソフトウェアを開発することができるかどうかをクラウドソーシング？、データが読み込ま新浪微博に応じてマシンデータをクロール：これは実際には非常にクレイジーなアイデアですが、私はこの解釈は、元本を妊娠していると思いますが、今、私たちはすべてのビッグデータソフトウェアパッケージの開発を行うことができ、次のように状況がどうあるべきと仮定しますBaiduのインデックスデータ、データのBaiduのポストバーは、淘宝網のトランザクションデータの後に、ユーザーは曲線だけでなく、感情の様々な、ソフトウェア開発者を要求し、これらのデータに基づいてソフトウェアモデルのセットを開発することを見つけ、その後場所にオペレータに提示されますクラウドであり、ユーザこれらのユーザの行動に応じて機械、ソフトウェアモデリング、計画それでは、行動のような様々な生成ソフトウェアによって生成された様々な雲の参加に入ります。
これは、非常に微細な先端インタラクティブなデータマイニング技術であり、解決アルゴリズムとストレージの問題は、何が可能であることを条件とします。ビッグデータソフトウェアの未来は本来の形ではありませんが、絶えず変化するデータを自動的スーパーエコロジーによると、プロダクトマネージャーは、プッシュするプッシュではなく、アルゴリズムのエンジニアに依存しないことがあり、自然暴露のユーザーのニーズいるので、その後に彼らはいくつかの機能を実現するために行きます。
ビッグデータは将来の段階で定義されることがあります。人間の世界の本当の削減、そして私たちの願いのいずれかを満たすために続けて、私たちはその決定にいくつかのことを頼らなければならなかった、そして今、我々は、直接私たちが何をしたいのか到達するために、それに依存しています物事は、私たちの行動のすべては、私たちの意思決定の一部となっています。
著者は強く記事を読んでお勧めします。
ビッグデータのエンジニアは、オープンソースツールの概要を習得しなければなりません
ビッグデータのシニアティーチ大きなデータコア技術を読むにどのように
トップビッグデータのエンジニアがスキルを習得する必要があります
8つの大きな要因データ、機械学習と将来の発展のための人工知能
