大規模モデルと AIGC の出現により、アプリケーションのインテリジェント エクスペリエンスの向上がユーザーの中核的な要求の 1 つになりました。 AI を端末に組み込み、システムと深く統合してユーザーの問題点を解決し、革新的なシナリオを探索する方法は、開発者が直面する課題となっています。
開発者の差別化されたシナリオのニーズを満たすために、OPPO は ColorOS システム インテリジェント製品の分野で革新的な実践を実施し、自社開発のエンドサイド AI プラットフォーム (AIUnit) を通じて開発者がアルゴリズムの導入、テスト、リリースをワンストップで完了できるよう支援してきました。 ）。
[OTalk丨OPPO Developer Technology Salon - デバイス側 AI - スマート製品特別セッション] のライブ ブロードキャストで、OPPO ソフトウェア エンジニアリング システム - デバイス側 AI 研究開発チームが OPPO のオンデバイス AI 機能とアプリケーション シナリオ、ワンストップ エンドを紹介しました。 -side AI プラットフォームの技術アーキテクチャと革新的な実践は、エンドサイド AI スマート製品の開発に対する開発者の質問と要求に答えます。
ColorOS AI の機能と具体的なアプリケーション シナリオとは何ですか?
現在、ColorOS 画像認識関連の AI 製品には、テキスト抽出、テキスト意図認識 - OCR、テキスト意図認識 - コピー、画像認識、翻訳、スキャンなどが含まれます。 OPPO は、OCR、画像セグメンテーションなどの機能をシステム情報取得のタッチポイントとして使用し、NLP、CV などのアルゴリズムを使用して情報を理解し、取得した情報の内容分類と意図分析を実行し、さまざまなサービスを接続してユーザーに提供したいと考えています。インテリジェントで効率的なマシン エクスペリエンスを実現しながら、開発者により効果的なトラフィック変換を提供します。
タッチポイントとしての OCR 認識機能は、横書きテキスト、縦書きテキスト、段落、グリッド、植字、珍しい文字の認識、中国語と英語の混合をサポートし、基本的なテキスト認識率は 80% を超え、フォト アルバム、コピー、画面認識、スキャン、カメラ、メモやスクリーンショットなど 7 つの主要な使用シナリオ。
意図理解の中核となるテキスト NLP 機能は、Douyin や Tencent Conference など 10 以上のテキスト タイプの認識をすでにサポートしています。さまざまなオフィスおよびライフアプリケーションサービスを統合することで、OPPOは、ナビゲーション、タクシー、その他の住所情報のカードオプションの提供など、さまざまな種類のコンテンツに対応する機能拡張も提供でき、さまざまな種類のサービスの開発者がユーザーに提供する追加のサービスポータルを作成できるように支援します。ワンクリックの直接サービス体験を提供します。
開発者に統合 AI 機能を提供する ColorOS システムの利点は何ですか?
1 つ目は低コストであり、ColorOS にはすでに成熟した画像認識機能とテキスト認識機能が備わっており、アクセス コストはそれほど高くありません。
ColorOS はデバイスの計算能力を利用して計算を完了し、クラウド側の AI 情報漏洩のリスクを回避できます。
さらに、データは完全であり、ColorOS はユーザーのコンピュータ使用習慣に関するデータをマスターしており、これらのデータは第三者が利用することはできません。
ColorOS は、さまざまな種類のサービスを接続して、ユーザーにさらに便利でインテリジェントなエクスペリエンスを提供します。
要約すると、開発者にとって、開発コストを削減する場合でも、ユーザーに統一されたサービス エクスペリエンスを提供する場合でも、ColorOS が提供する統合 AI 機能は強力なサポートとなります。
開発者は、異なるプラットフォーム上でのアルゴリズムの差別化された展開と運用の問題をどのように解決するのでしょうか?
現在、OPPO は、デバイス側 AI プラットフォーム用の基本的なデバイスとクラウドのコラボレーション フレームワークを最初に構築しており、2024 年に次の内容を含む新しいアップグレードされたプラットフォーム システム 1.0 をリリースする予定です。
AIBoost エンドサイド推論フレームワーク: プルーニング定量化、暗号化変換、演算子融合、ヘテロジニアス コンピューティングなどを含むモデルの軽量展開をサポートします。また、Android ネイティブ NNAPI およびさまざまなチップ プラットフォームにも適合しており、さまざまな種類の携帯電話と互換性があります。また、開発者が少ないコードで自動的に展開コードを生成できるように支援する開発ツールも提供し、開発コストを削減します。
AIUnit エンドクラウド統合運用サービス: AIBoost を統合して一般的な TFLite、ONNX、その他のモデルのエンドサイド推論運用に対応するだけでなく、開発者のプラグインを支援する新しい Android プラグイン リソース フレームワーク Orange も提供します。独自のアプリケーション製品のアルゴリズムを変換およびスピンオフして、独立した形式でクラウド側のリリースを実現し、対象範囲には世界中の少なくとも 6 か国または地域が含まれます。デバイス側ランタイムは、ColorOS システムの利点を完全に統合して、アルゴリズムの完全なライフサイクル管理を実現し、シナリオに基づいてデバイス クラウド アルゴリズムのスイッチング スケジューリングを実行し、デバイスの安定性と低消費電力を確保しながら、パフォーマンスを向上させます。ユーザー体験;
Odin デバイスとクラウドの協調展開プラットフォーム: OPPO が自社開発した Andes Intelligent Cloud の助けを借りて、デバイス側 AI プラットフォームはグローバル リリースと差別化された展開を実現できます開発者は独自のアルゴリズム モデルまたはプラグインを任意の OPPO デバイスにリリースできます。同時に、プラットフォームは、端末側のアルゴリズムのメモリ、消費時間、消費電力などの実行時データをカウントおよび収集し、そのパフォーマンス指標を視覚的に表示して、開発者の迅速な反復を支援します。将来的には、ユーザーの許可を得て、クライアント側のトレーニングとフェデレーテッド ラーニングに基づいてユーザー タグが生成され、開発パートナーが正確なサービス推奨を実現し、ColorOS システムとクライアント側の AI エコロジーとの間に友好的な協力関係を確立できるようになります。パーティーのアプリケーション。
AI 機能テスト プラットフォーム: 導入プロセス中、開発者は二次導入開発、テスト スクリプト開発、デモンストレーション ツール開発、インターフェイス開発などの問題に遭遇し、エンドサイド推論のパフォーマンスを検証する必要もあります。テストプラットフォームはこれに向けたものになります.YiPaiPointはプラグイン開発キットのフルセットを提供します.開発者は上記のマテリアルの開発を完了するために少量のコードのみが必要です.彼らはAI機能にマテリアルをアップロードするだけで済みますテスト プラットフォームを作成し、必要に応じてテスト環境の構成を設定すると、実世界で実行できるようになります。端末側のテスト作業はマシン上で完了し、端末側のアルゴリズムの客観的なパフォーマンスとパフォーマンス指標を検証します。
さらに、豊富なフレームワークと開発ツールのサポートにより、AI 以外の開発者も OPPO の AI 機能にアクセスして、AI シナリオを迅速に実装できます。今後6か月以内に、OPPOはグローバル展開もサポートし、テストプラットフォームと開発キットの立ち上げも行う予定で、このプラットフォーム構築により、開発者は開発、展開、テスト、リリースに至るまでフルリンクアルゴリズムのエンドツーエンド実装を支援できるようになる。
OPPO はオンデバイス AI プラットフォーム機能に基づいてどのような革新的な実践を行ってきましたか?
OPPOは、Reno10 Pro+のスーパースキャン機能に適用されたオールインワンコードスキャンアルゴリズムを発表し、35メートルの超長距離スキャンと10度のスーパーチルトスキャンを可能にしました。検出能力がより高速になります。
1) 従来の画像処理方法に基づいて事前検出モジュールを設計し、不必要な位置決めと検出アルゴリズムの呼び出しを削減します。
2) AIBoost に基づいた検出モデルはエンドツーエンドで展開され、時間のかかるコード検出を削減し、小型ターゲット検出とズーム ロジックを通じて超長距離検出機能を実現します。
3) 長距離および小角度のデコード問題の場合は、コード クラス補正やコード クラスなどのブレ除去アルゴリズムを使用して、極端なシナリオでの画像品質を向上させ、デコード機能を向上させます。
開発者Q&A
1. 機能サポートの点で、OPPO のデバイス側 AI プラットフォームの利点は何ですか?
OPPO のオンデバイス AI プラットフォームの利点は、より多くのアルゴリズム タイプをサポートし、クラウド側の展開をサポートし、オンデバイス推論のためのより多様なチップ プラットフォームをサポートし、異種混合をサポートすることです。
2. OPPO のデバイス側 AI 機能にすばやくアクセスするにはどうすればよいですか?
開発者はOPPOオープンプラットフォーム公式Webサイトにログインし、製品一覧にある「デバイスサイドAI」ポータルからアクセスを申請できる。
詳細についてはライブリプレイをご覧ください ⬇️⬇️