ビッグデータは、体内の血液のようなデータに社会的、経済的な水分データ内のデータの長いストリームをオープンイノベーションを必要とし、基本的な処理と分析プラットフォームを開くために、データやトランザクションのオープン共有から抽出する能力、価値、およびを開くので、ビッグデータの黄金時代を作成するために、化学反応によるロングテールビジネスデータと革新的な思考よりカラフルようにします。
ビッグデータで壁が死んだデータになることを運命づけられている、ビッグデータ、ソーシャルデータ内の血液のようなデータ、技術革新を開き、データやトランザクションのオープン共有から抽出する能力を開いて、値、そして基本的な処理と分析プラットフォームを開くために、ようする必要がありますビッグデータの黄金時代を作成するために、化学反応によって体内の長い流れの中、湿気の経済データ、そのので、より多くのロングテールビジネスデータと革新的な思考カラフル、。
マイビッグデータ研究トラック
私は、モバイルアーキテクチャやJava仮想マシン、4--5年メニーコア・アーキテクチャおよび並列プログラミングシステムの4--5年は、最近4--5年は最初の大きなされている近年で物事を入れ、ファッションを追いかけているやりましたデータ。ビッグデータ研究軌道の私たちのチームは、以下に示すように：
2010-2012は、データとマシンとの間の関係に焦点を当てる：各種の演算モードを明確にしながら処理をストリーミングするバッチ（マップリデュース）から、水平方向の膨張、フォールトトレランス、一貫性、ハードウェアとソフトウェアの協調設計、ビッグSQL /アドホッククエリ図・コンピューティング、機械学習など。実際には、私たちのチームはインテルのビッグデータ研究開発努力の一部でしかありません、上海チームは、インテルのHadoopディストリビューションは、Clouderaのは、自分自身の解放をしない、インテルの筆頭株主となっている主要な力であるが、最適化プラットフォーム、オープンソースのサポートとフィールド内の垂直ソリューションは、インテルのビッグデータ研究開発の焦点であり続けています。
2013年からのデータと人との関係に焦点を当てるようになった：データ科学者のためにどの分野の専門家のために、分散型機械学習、機能エンジニアリングと教師なし学習を行うには、対話を行う方法を、エンドユーザーのためのインタラクティブな分析ツールを実行する方法であります可視化ツール。中国は主にスパークSQLとMLlibを行っている間に、米国を支援するためのカーネギーメロン大学のインテルラボの研究センターがGraphLab、古い同期並列処理を行って、MITの研究センターでは、ビッグデータ分析やインタラクティブな可視化SciDBを作りました（機械学習ライブラリー）は、今学習アルゴリズムやインフラの深さになります。
2014年は、データとデータの間の関係に焦点を当てています。当社独自の焦点は、オープンソースであり、オープンソースは、後にオープンイノベーションの一部のみを見つけ、私たちが行う必要がビッグデータオープンイノベーションは、オープンデータ、オープンとビッグデータインフラストラクチャでありますオープン値の抽出機能を提供します。
海と外部性データディアブロ
ここで、非常に興味深い図黄色部分が接続されていない、すなわち、化石化され、データはデジタル化されず、この海内のデータの大半。唯一の海抜データ（一部の人は表面のWebそれを呼び出す）私たちは、データにアクセスすることができます本物である、データの大半は内部の暗い海の中にいる間、爬虫類は、検索エンジンがデータを取得することができ、登ることができます（それぞれダークウェブと呼ばれる）、この部分は、全データの85％以上を占めると言われて、彼らは孤立してである、いくつかの企業では、眠って床に横たわっ内部政府。
ちょうど水のようなデータのコミュニティ内のデータは、都市にあるか、血液が体にあります。街と川の誕生以来、その栄養の対象となり、絡んでも身体一度血液停滞。生存のいわゆるソーシャルデータ、我々はそうでない社会が重要な機能の多くを失うことになる、一緒にデータを流す必要があります。
だから、私たちは「風Yulu再会」というような化学データを生成することができるように願っています。馬氏は、Intelはまた、すべての人生の歩みによって、ビッグデータと同等のものを大規模なデータXを持ち、インターネット+の概念を提案しました。さらに、次の図の乗法効果、データは非常に素晴らしい効果は外部性（外部性）と呼ばれてい、データが有用私には役に立たないが、TAであるように、彼は蜂蜜の毒私を呼ん。
例えば、財務データや電力供給業者とのデータ衝突、インターネットバンキングなどの小型のマイクロ融資として生じる、電気通信及びデータは、政府のデータを満たすために、人々が生きるのを助けるために都市計画の値人口統計学的側面を作成することができ、仕事と遊び場所;財務データや医療データ一緒に、マッキンゼーは、このような詐欺の可能性が見つけることができるなどのアプリケーションの数が一覧表示、データのハッシュにおけるロジスティクスデータと電力供給を、あなたは、各サブエリア経済の動作を理解することができ、物流データと財務データは、サプライチェーンを生成します金融、農業や財務データ、およびデータはまた、いくつかの化学的作用が発生することができます。このような少数の人々のうち、Googleの分析、USオープン気象データの利用、農家保険および特許請求の範囲を支援するために、災害を予測することができ農地の各部分上のマイクロ気象モデルの確立など。
一緒に実際の流れの異なる領域からのデータは、ビッグデータの値をアンロックするために一緒にブレンドするようので、データのオープン道路を残します。
オープンの約3つの概念
1、数据开放
首先是狭义的数据开放。数据开放的主体是政府和科研机构，把非涉密的政府数据及科研数据开放出来。现在也有一些企业愿意开放数据，像Netflix和一些电信运营商，来帮助他们的数据价值化，建构生态系统。但是数据开放不等于信息公开。首先，数据不等于信息，信息是从数据里面提炼出来的东西。我们希望，首先要开放原始的数据(raw data)，其次，它是一种主动和免费的开放，我们现在经常听说要申请信息公开，那是被动的开放。
Tim Berners Lee提出了数据开放的五星标准，以保证数据质量：一星是开放授权的格式，比如说PDF;其次是结构化，把数据从文件变成了像excel这样的表;三星是开放格式，如CSV;四星是能够通过URI找到每一个数据项;五星代表能够和其它数据链接，形成一个开放的数据图谱。
现在主流的数据开放门户，像data.dov或data.gov.uk，都是基于开源软件。英特尔在MIT的大数据科研中心也做了一种形态，叫Datahub：吉祥物很有趣，一半是大象，代表数据库技术，一半是章鱼，取自github的吉祥物章鱼猫。它提供更多的功能比如易管理性，提供结构化数据服务和访问控制，对数据共享进行管理，同时可以在原地做可视化和分析。
广义的数据开放还有数据的共享及交易，比如点对点进行数据共享或在多边平台上做数据交易。马克思说生产资料所有制是经济的基础，但是现在大家可以发现，生产资料的租赁制变成了一种主流(参考《Lean Startup》)，在数据的场景下，我不一定拥有数据，甚至不用整个数据集，但可以租赁。租赁的过程中要保证数据的权利。
首先，我可以做到数据给你用，但不可以给你看见。姚期智老先生82年提出“millionaires’ dilemma(百万富翁的窘境)”，两个百万富翁比富谁都不愿意说出自己有多少钱，这就是典型的“可用但不可见”场景。在实际生活中的例子很多，比如美国国土安全部有恐怖分子名单(数据1)，航空公司有乘客飞行记录(数据2)，国土安全部向航空公司要乘客飞行记录，航空公司不给，因为涉及隐私，他反过来向国土安全部要恐怖分子名单，也不行，因为是国家机密。双方都有发现恐怖分子的意愿，但都不愿给出数据，有没有办法让数据1和数据2放一起扫一下，但又保障数据安全呢?
其次，在数据使用过程中要有审计，万一那个扫描程序偷偷把数据藏起来送回去怎么办?再者，需要数据定价机制，双方数据的价值一定不对等，产生的洞察对各方的用途也不一样，因此要有个定价机制，比大锅饭式的数据共享更有激励性。
从点对点的共享，走到多边的数据交易，从一对多的数据服务到多对多的数据市场，再到数据交易所。如果说现在的数据市场更多是对数据集进行买卖的话，那么数据交易所就是一个基于市场进行价值发现和定价的，像股票交易所那样的、小批量、高频率的数据交易。
我们支持了不少研究来实现刚才所说的这些功能，比如说可用而不可见。案例一是通过加密数据库CryptDB/Monomi实现，在数据拥有方甲方这边的数据库是完全加密的，这事实上也防止了现在出现的很多数据泄露问题，大家已经听到，比如说某互联网服务提供商的员工偷偷把数据拿出来卖，你的数据一旦加密了他拿出来也没用。其次，这个加密数据库可以运行乙方的普通SQL程序，因为它采用了同态加密技术和洋葱加密法，SQL的一些语义在密文上也可以执行。
针对“百万富翁的窘境”，我们做了另一种可用但不可见的技术，叫做数据咖啡馆。大家知道咖啡馆是让人和人进行思想碰撞的地方，这个数据咖啡馆就是让数据和数据能够碰撞而产生新的价值。
比如两个电商，一个是卖衣服的，一个是卖化妆品的，他们对于客户的洞察都是相对有限的，如果两边的数据放在一起做一次分析，那么就能够获得全面的用户画像。再如，癌症是一类长尾病症，有太多的基因突变，每个研究机构的基因组样本都相对有限，这在某种程度上解释了为什么过去50年癌症的治愈率仅仅提升了8%。那么，多个研究机构的数据在咖啡馆碰一碰，也能够加速癌症的研究。
在咖啡馆的底层是多方安全计算的技术，基于英特尔和伯克利的一个联合研究。在上面是安全、可信的Spark，基于“data lineage”的使用审计，根据各方数据对结果的贡献进行定价。
2、大数据基础设施的开放
现在有的是有大数据思维的人，但他们很捉急，玩不起、玩不会大数据，他不懂怎么存储、怎么处理这些大数据，这就需要云计算。基础设施的开放还是传统的Platform as a Service，比如Amazon AWS里有MapReduce，Google有Big Query。这些大数据的基础处理和分析平台可以降低数据思维者的门槛，释放他们的创造力。
比如decide.com，每天爬几十万的数据，对价格信息(结构化的和非结构化的)进行分析，然后告诉你买什么牌子、什么时候买最好。只有四个PhD搞算法，其他的靠AWS。另一家公司Prismatic，也利用了AWS，这是一家做个性化阅读推荐的，我专门研究过它的计算图、存储和高性能库，用LISP的一个变种Clojure写的非常漂亮，真正做技术的只有三个学生。
所以当这些基础设施社会化以后，大数据思维者的春天很快就要到来。
3、价值提取能力的开放
现在的模式一般是一大一小或一对多。比如Tesco和Dunnhumby，后者刚开始是很小的公司，找到Tesco给它做客户忠诚度计划，一做就做了几十年，这样的长期战略合作优于短期的数据分析服务，决策更注重长期性。当然，Dunnhumby现在已经不是小公司了，也为其他大公司提供数据分析服务。再如沃尔玛和另外一家小公司合作，做数据分析，最后他把这家小公司买下来了，成了它的Walmart Labs。
一对多的模式，典型的是Palantir——Peter Thiel和斯坦福的几个教授成立的公司，目前还是私有的，但估值近百亿了，它很擅长给各类政府和金融机构提供数据价值提取服务。真正把这种能力开放的是Kaggle，它的双边，一边是10多万的分析师，另一边是需求方企业，企业在Kaggle上发标，分析师竞标，获得业务。这可能是真正解决长尾公司价值提取能力的办法。当然，如果能和我们的数据咖啡馆结合，就更好了。
推荐阅读文章
