テンセント最新の技術スタックのオープンソースプロジェクトの背後を解析+クラウド技術コミュニティサロンシュウ

12月21日、テンセントとTencentのオープンソースコミュニティと共同で、正常深センTencentのビルで開催された技術サロン主催の経営の+外務省にそう。現在の活動のテーマは、オープンソースのプロセスで最新の成果テンセントを共有し、「テンセントオープンソース技術」、コナ周りテンセントJDKからオープンソース技術の専門家と技術者の数、小さなTencentOS、TubeMQやその他のオープンソースプロジェクトの開発プロセスであり、道路を作りました蓄積された実践的な経験とでは、深さがビッグデータ、ネットワーキング、医療などさまざまなシナリオでのオープンソース技術の開発動向を探ります
ここに画像を挿入説明

Yangxiaofeng:「ビッグデータの分野におけるコナJDKの練習とテンセントの開発。」

ここに画像を挿入説明
テンセント専門のエンジニア、TEG JDKチームリーダーヤンXiaofeng、彼のスピーチで簡単に起源コナJDKプロジェクト、現在のOpenJDKの技術開発のホットスポットの分析、および中国で、コナJDK大きなデータフィールドへのテンセントで、この分野での開発状況とトレンドを紹介します需要の痛みのポイント、実際の経験だけでなく、株式の今後の展開。
オープンJDKは、フリーでオープンソースの参照実装のJava SEの標準です。2006年には、徐々にオープンソースに対するSun社のコミットメントコアJavaプラットフォーム。2007年には、RedHatのは、会社に参加する、とのIcedTeaをリリースしました。2010年には、OracleはIBM2、SAPおよび他のベンダーが参加している、日を取得し、プロジェクトのリーダーシップを引き継ぎました。最速の採用と受諾の最新バージョンになって2014年、JDK 8のリリース、。2017年、JDK 9リリースし、その後半年ごとの出版モデルと新しい価格モデルを確立しました。2019年、テンセントコナは、オープンソースを発表しました。
テンセントコナは、いくつかの特性を有し、テンセント続く最初の空き、ゼロコストで、信頼性の高い長期的なサポートを提供する、第三の生産準備は、それが内部テンセント超大規模な生産環境のテストに合格します。テンセントはまた、原則として、「徐々にビッグデータ、クラウドコンピューティングと高度な機能の他の分野に貢献する」、将来的には「最大化の互換性」を堅持し、積極的にオープンソース、コミュニティへの持続的な貢献を受け入れるだろう。
ビューの現在のアプリケーションの観点からJDK国内の製品は、OracleのJDKはまだ約70%、OpenJDKの21%を占めているが、速い上昇します。バージョン寸法からは、JDK 7/8はまだ主流であるが、価値があるJDK 11は国内メーカーより多くの深い、新たな技術革新と着陸JVMの面で信頼、実際の一定量となっている、ことを指摘しています。

ビッグデータ分野に焦点を当て、現在のJava / JVMは、高生産性、高パフォーマンス、JVMは完璧なクロスプラットフォーム機能を提供してきた高い信頼性、改善されたツール、質量の利点のために主に、無冠の王の価値がありますライブラリやフレームワーク。

しかし、テンセントデータの大きな質量は、技術的なシナリオを要求し、現在のJVMショートボードする能力は、多くの側面クラスタサイズ、SLA、メモリ密度に反映され、シーンの先端のボトルネック部となっています。不一致がある特定のシナリオでクラシックGC、診断およびチューニング機能は、まだ容量の大きな不足です。
同時に、日に日に近代的なハードウェアは、JVMは、力の現在のカウントを確保することであるが、それでもベクトル化技術、サポート、将来の持続可能な性能向上のニーズをより効率的に使用する多くの改善が必要です。
JVMから続けテンセントより技術的なレベルは、Java Runtime Environmentとソリューションの最高のエリアを作成するために、適切なツールを改善するために最適化。

イェ風水:「実践──TencentOSに基づいたIoTの小さなオープンソースプロジェクトが急速にゼロからアプレットを作成します。」

ここに画像を挿入説明
彼の演説の中でイェ風水Tencentのエンジニアは、メインのコンテンツTencentOS小さなプロジェクトの背景、ソフトウェアアーキテクチャ、のIoTソリューション、開発プラクティスを導入しました。

TencentOSタイニーテンセント流線リアルタイムオペレーティングシステムのオープンフィールドオブジェクト指向ネットワーク、それはテンセントが材料という、開発効率を向上させるために、開発のしきい値を減らし、排水クラウド側の大規模なデータプラットフォームを行う役割だった根本的な製品マトリックスネットワーキングキーリングです端末装置とクイックアクセスサービスをネットワーク化することができますテンセントクラウド物事インターネット。

ビューのTencentOS小さな建築観点から、それが主流のチップとモジュールに適用されてきた、最も合理RTOSカーネル、物事プロトコルの主流に統合物理的なネットワークコンポーネントの富を提供します。TencentOS小さな小型、低消費電力、豊富なIoTコンポーネント、信頼性の高いセキュリティフレームワーク、良いポータビリティ、便利なデバッグツールなどは、物事のさまざまなニーズにお応えしています。

週GitHubのオープンソースプロジェクトは、ホットリストになってきた解放TencentOS小さな9月18日、今年正式にオープンソースには、第二、今の国内および国際的な主流のMCUやハードウェアベンダーと共同で、スター3500 +、フォーク800+を受けている位にランク、サポートされているハードウェアプラットフォームの数は50を超えました。
小さなテンセントTencentOSは現在、このような容器の植栽やインテリジェンスソリューションのためのスマートなソリューションとしてのソリューションを、着陸いくつかのものがあります。

インテリジェント溶液容器、AI制御システムおよびサービス識別と小さなTencentOS、キャビネットを開くために、完全なスキャンコード、抽出物は、セルフサービスシナリオを構築するために、自動化された課金処理を閉じました。重力センシングとAIの認識率を向上させるためにそのような他の補助AIの意思決定:AI、このような認識率をブロックでの商品の結果の一部として、実際のシーン制御不能の状況については、および減少、小さなTencentOSは、より多くの意識を提供しています。
植栽ソリューションの知恵で、コンテキストアウェアである二つの領域──側のTencentOS小さなメインサービスと制御側を調整します。サイドコンテキストアウェア温度と湿度、土壌pH、酸素及びその他の環境データを収集することによってなされた決定アルゴリズムのクラウド関連した温室、そして最終的に調整側調整完了温室環境によって制御された環境データ調整指示に従ってインターネットクラウドへのIoTを報告します。一方TencentOS小さなプログラムは、サポートのWiFi / NB-たIoT / LORAは、データのセキュリティを確保するために、完全なリンク暗号化を達成することをマルチネットワークアダプタを使用しています。

また、より良い小さなTencentOSを理解するために、TencentOS小さなスポットとカスタム開発ボード、雲、小さなドッキング手順に関する意識コンテキスト、デバイス制御、データを含む小規模な農業実践シナリオのエンドの開発に完全なエンド。使用TencentOS小さな現像装置側は、ネットワークプラットフォームテンセント雲とアプレットのクラウド開発は、高速物事を解決するために達成することができ、かつ低コストのオンライン反復スキームと組み合わせて、簡素化することができます。

張Guocheng:「TubeMQザ・アパッチ・ウェイ」

ここに画像を挿入説明
テンセントシニアエンジニア、彼のスピーチは詳述プロジェクトリーダー張Guocheng TubeMQで、1兆のメッセージングミドルウェアTubeMQを達成し、このような開発の方向として、プロジェクトのフォローアップの質問のための思考を共有するために、関連する原則を分析しました。

TubeMQストレージと大容量データシーンの伝送に着目し、ミドルウェアがテンセントから1兆あるメッセージング分散性、安定性、性能、およびコストの側面の点で独自の利点を有しています。システムは、7年間の企業内で継続的な反復改善されてきた、テストシナリオテストプログラム定義されたビッグデータシナリオの私達の実用化を通じて、TubeMQは、メッセージの遅延は10ミリ秒、またはそれ以下より5ミリ秒単位で制御することができる14万TPSのスループットをサポートすることができます広くリアルタイムの広告に使用される時間は、大規模なデータ報告、データストリーム処理、インジケーター&監視シナリオをお勧めします。
システムアーキテクチャのTubeMQ重要な特徴は、純粋なJava実装を含む、マスターHAコーディネータノードは、ZK、オフセット管理分権、支援サーバサイドフィルタリング、改良されたメッセージストレージモードを弱め、ある+速い消費をRAID10ディスク・ベースの複数のコピーを調整しません複数のデータの信頼性プログラムBrokerは、複数のコピーをノード。
発的動機づけのアクセステンセント自習TubeMQは、圧力の量をされて成長している次のようないくつかのデータ、の順に100億千億、WANへの10億以下の順序、どのようなメッセージ問題はないキューが、データ億以上のオーダーは、2013 20000000000から2019の初めからなど、コスト、安定性、パフォーマンス、アクセスTubeMQの平均日量などの制約、11月35000000000000がたくさんあるだろう場合でも、テンセントこの期間その後、メッセージキューと改善への導入から、自己開発プロセスの実践を通して行ってきました。

TubeMQは、Apacheコン上で、今年9月にオープンソースを発表し、Apache財団に寄付しました。TubeMQが考慮する主に3つの点に基づいてオープンソースであることが理由:まず、同社の技術戦略に応じて、積極的にビルドにオープンソースのコラボレーションに参加し、第二に、私たちはTubeMQ外国オープンソースにしたいが、実際にビジネスを解決するためにパートナーを必要としているこのいずれかにすることができます作品に遭遇した多くの現実的な問題で、三番目は彼らの協力と外部システムを強化するために、オープンソースコミュニティで、密室を避けるために、オープンソースを採用することです。選択はTubeMQは、インキュベーションプロセスを標準化するために、両方の希望が中立テキスト財団となっている、Apacheのに貢献する、プロジェクトはより成熟しているが、また、Apacheのは、利益に基づいて、ために大規模な生態学的データの、我々はまた、この生態系の恩恵を受け知られているので、オープンソース、オープンソースのフィードバック配慮、プロジェクトは、Apache財団に寄付されます。

TubeMQその後の開発は、さらにプロジェクトを改善するためにTubeMQプロジェクトを構築するために、コミュニティの力に頼るする計画で、システムの安定性、性能、低コストの拡大に​​注力していきます、などビッグデータエコシステムに異なる上流と下流にTubeMQアクセスを、意志そして最終的にプロジェクトの利用を促進するために促進するために、このチームの必要性に役立ちます。

陳Sihong:「MedicalNet:3D医療画像専用の事前研修モデルの実践と応用」

ここに画像を挿入説明
テンセントシニアフェロー陳Sihongは、彼の演説の中で医療用画像AI、AI MedicalNetおよび医療用画像処理業界の痛みポイントの基本的な概念間の関係、およびMedicalNet技術的な実装プロセスの説明を記述しています。

AIは実際に医療画像を解決するためであるグローバル共通の問題「困難な患者が医師の診察をするために、医師は疲れを診断し」。
大規模な、長いサイクルへの電車通り、短時間での医療従事者の数の有意な増加が困難であり、人工知能技術は、現在の状況に医療資源の不足を緩和するために、医療の仕事を支援することができます。医療分野のための人工知能は、メインは2つの機能、人口スクリーニングの基礎となっているものを持っており、他の診断の質を高めるためです。いくつかの簡単な病気のために、人工知能は、ある程度のヘルスケアの不足の問題を緩和するために仕事で人々の病気のスクリーニングのための高パフォーマンス診断を実現することができます。そして、病気を治療するための高難易度のいくつかは、人工知能は、医師が診断するための基準を提供するリマインダーの役割として機能することができます。

診断医療イメージング、それは非常に一般的な医学的診断ツールで、豊富な情報が含まれています。以下のように「作られた」医療用画像AI:収集データのタグ付けは、その後、人工知能モデルにこれらのデータを養成するために、そして最終的には、システム内の患者の画像入力は、近い先輩医師の診断を取得します。

近年では、ビデオおよび画像認識ソフトウェアの開発は、医療用画像AIのための大きな助けを提供します。しかし、限られた医療資源に、注釈データは、同じデータが得られ、困難になる訓練の分布をマークするために使用することができ、非常に小さな、深い学習やデータ駆動型フォームの矛盾である、これは医療用画像AIの嘘の開発における現在のボトルネックです。

だから、AIの医療イメージング研究のために、緊急の必要性は、大規模なデータセットと対応するモデルを見つける小さなデータAI医療画像アプリケーションの大多数のための情報支援を提供し、これはMedicaNetの開発のための動機です。
各公衆衛生と同じように一緒にデータの3Dデータセットの少量が、複数の医療現場のデータ・セットを配布しますが、大規模なデータセットのセットを形成することができるMedicaNet開発チームは、異なる訓練するために使用され、収集されたデータセットのシーンになりますモデルを事前に訓練した後、関連する事前研修モデルを開きます。その結果、ユーザーは新しいモデルを訓練する必要がある場合、あなたは直接MedicaNetモデル、新しいアプリケーションへのデータの少量でも学習を転送することができ、ユーザーはまだ最終的にモデルをトレーニングすることができます。

異なるデータソース;しかし、実装プロセスMedicaNetは、実際に遭遇した多くの問題が及ぶ違い、アーティファクトは頻繁に、低画質、ファジー境界、低コントラスト、ピクセルの意味は異なり含め、技術が解決しようとします、マーク不足、同じ組織の解像度が矛盾し、異なる組織とそれほど大規模な違いです。

二つのプログラムを介してこれらの課題に対処するためMedicaNetメイン開発チーム。最初のデータ収集がスクリーニングされたプログラムは、主な目的は、データセットの一般的な知識を識別することです。具体的には、以下:小規模にプロキシネットワークを介して高速トレーニング、各ピックのために少量のデータを、ミニデータ収集機関を形成するために、シーンから選択し、予測データセットの最終分割結果の品質は、データセットを保存することができるミニに応じて決定されます。

スクリーニングデータセットの終了後、訓練のための共同訓練プログラムの使用。最初の画素データと空間的正規化の前処理。全ての分割データセット内のラベルの詳細については、MedicalNetを取得します。
オープン・ソース・モデルの符号化及び復号化、符号化部によってMedicalNet部。符号化部に集中詳細については、そう、彼らはコーディングに集中しているパラメータのほとんどを置きます。マークを解決するには、データセットとデータ収集問題の間で均一でない、分離の複数のシーンをデコードする注釈データのマルチタスクフォーム部品の使用。トレーニング中に、容易勾配消失のためのスキップ・コネクションの異なる組み合わせ。トレーニング後、コードセクションは、タスク分割モデル、分類および検出、等の種々の任意に移動させることができます。

最後の実験結果は、MedicalNet小さなデータネットワークは、シーンの収束を加速予測のパフォーマンスを向上させることができ、3D医用画像アプリケーションでは、それを示しています。

ティエンティエン:「タールとGRPC実用的なアプリケーションシナリオ。」

ここに画像を挿入説明
タール-Goの初期プロモーターおよびコア開発者、彼の演説の中で、テンセントシニアエンジニアティエンティエンは、システムのアーキテクチャとアプリケーションフレームワークの設計タールとGRPCを分析し、設計作業のマイクロアーキテクチャのためのサービスメッシュに探検いくつかを共有しますアイデアの選択とは、技術的な基準を提供します。

現在まで2008年からタールテンセントは、企業が急速に開発を支援することができ、うまくコーディネート多言語サポート、埋め込まれたサービス管理機能、マイクロサービスフレームワークとDevOpsチームは、使用される層の背後にあるアプリケーションフレームワークのTAFロジックを統一されています展開、テスト、グラデーション、オンライン。

現在、オープンソースのマイクロサービスフレームワークは、通信フレームワーク、RPCやメッセージキューモード、サポートするマルチ言語の開発そのフレームワークの一部に焦点を当て、四つのカテゴリー、すなわち、ノーサービスのガバナンスに分けることができ、サービスメッシュ、サポートサービス管理、サイドカーモードによって問題を解決するための多言語それは、開発成熟中である、単一のサービス管理クラスと言語は、サポートサービス管理機能へ通信フレームワークに基づいて、単一のプログラミング言語、主流のJava言語、多言語サービス管理クラスで、主にタールは、通信フレームワークであってもガバナンス支援サービスやプログラミング言語の基礎の様々な。

タール全体的なアーキテクチャは、いくつかの部分のDevOpsチームに分けることができ、主にコード管理、コードのコンパイル、自動テストなどを含めDevOpsチーム、関連付けられているOSS、開発フレームワークと言語は、; OSS負荷を含む主にいくつかのガバナンスとサービスサポート契約、バランス、ヒューズ、サービス構成など、主支持C ++やJava、Node.jsの、PHPのこの部分では、言語 、GO など、将来的にはより多くの言語を開発します。
そして、インタフェース記述言語としてのプロトコルバッファを使用して、GRPCで、GRPCは、Googleが開始されたオープンソースのリモートプロシージャコールシステムであり、HTTP / 2ベースのトランスポートプロトコルを見てみましょう。プロトコルバッファは、Googleがシリアル化の枠組みを立ち上げているにかかわらず、開発言語、プラットフォームの、優れた拡張性を備えています。すべてのプロトコルバッファのフレームワーク配列と同様に、データ記憶装置、通信プロトコルのために使用することができます。

GRPC全体の構造が比較的簡単ですが、あなたがオンラインで適用したい場合は、その後、いくつかの困難なので、GRPCフレームワークの後に使用テンセント関連チームはまた、多くのことを行います。構築されたベースのサービスミドルウェア、自動サービス登録は、自動および手動のフレームワークは、サービス登録、オフラインUI管理サービスインスタンスを提供する、例えば足場生成されたコードのために、サービスコードは、足場を通るだけサービスのビジネスロジックを充填フレームを自動的に生成することができますサービス、サービスコールトラッキングサービス、基本的なACLの実装、リアルタイムレポートミドルウェアに組み込まれた復旧サービスをパニックを記録し、多言語のクライアント&コード生成のためのサーバー側のコード、結合生産マルチリンガルクライアントとサーバのコードファイルを記述することで、 HTTP、GRPCプロトコル変換、HTTPサービスおよび出口GRPC 2つのプロトコルを提供するロジックコードに対応して、サービスのSDK一般的な実装、セクターへのアクセスを、SDKビジネスの共通の構成要素は、コストを低減することができます。

これらは、PBのプラグイン実装とGRPCインターセプタに主に依存している、コード生成ルールをカスタマイズすることができPBプラグインが迎撃マイクロサービスで実現することができるが、リンクの追跡、認証サービス、レポーティング、監視、リモートロギングなどの主要な機能を必要とし、 、サービスの発見、そして上のようにします。

最後に、サービスのメッシュ。サービスメッシュは、比較的低レベルのアーキテクチャである、あなたは地面から直接そのようなことを追跡するために、いくつかのリンクを行うことができ、そのようなアプリケーションは、実際の沈没の適用性を向上させます。伝統的な建築サービスメッシュアーキテクチャと比較すると、サービスのダイレクトコネクト・アーキテクチャは、主要なソースフレームワークは、サービスメッシュアーキテクチャは、プロキシネットワーク通信サイドカー満たす多様なアプリケーションを経由して、コードのゼロへの変更を可能にしながら、高性能なインフラストラクチャサービスのサービスを使用して構築しました必要があります。

将来的には、伝統的なフレームワークが存在し続けますが、機能はより多くのビジネス指向になります。タールはマイクロサービスシステムを完全に使用することができ、かつ使用GRPCは、自分の周辺のシステムを構築する必要があります。サービスメッシュが徐々に、ゆっくりと置換のための能力の枠組みを吸収し、サービスのメッシュ技術は、マイクロ管理サービスのコストを削減していきますが、次世代ネットワークアーキテクチャのためのエントリポイントである、より複雑なネットワークアーキテクチャ、となります。

+クラウド技術コミュニティサロン

近年では、テンセントは、オープンソースのペースを加速します。2019年12月の時点で、マイクロ文字を含む92項目の外国収入のテンセントの合計、テンセントクラウド、ビッグデータ、ゲーム、AI、セキュリティ、および他の分野、GitHubの上で複数26万スターの合計を取得するには、オープンソースのエンタープライズの世界でスターの数最前線にランク。

離れて高品質のプロジェクトに貢献し続けて、テンセントはまた、オープンソースコミュニティへの積極的な貢献は、中国の科学技術企業の力を再生します。今までは、テンセントは、Linux、Apacheと他の9の主要なオープンソース財団、会員の最高レベルになるための協力の深さに入社し、三件の大優れたオープンソースプロジェクトのオープンソース財団に寄贈しました。テンセントはまた、積極的に主要なオープンソース基盤に既存のプロジェクトに関与し、重要な貢献をします。

+クラウド技術コミュニティサロンは「クラウド+コミュニティ」であるシャロンはテンセントクラウド接続され、開発者が技術的な影響を作成するために一緒にプラットフォームとして、より多くの開発者が学び、交流できるようにするための技術を共有することによって、という希望が主催する技術的なライン活動を計画しました。シャロンそれぞれの問題は、それが好きなプラットフォームを収集し共有する開発者で、技術および方向の異なる領域に焦点を当てます。

2020年には、ポートフォリオサロン、してください。なお、主催者「クラウド+コミュニティ」関連の動的情報を開催されます。

公開された43元の記事 ウォン称賛17 ビュー50000 +

おすすめ

転載: blog.csdn.net/tencent__open/article/details/103742590