著者のホームページ:プログラミング コンパス
著者について: Java 分野の優れたクリエイター、CSDN ブログの専門家、Nuggets の招待著者、長年のアーキテクト デザイン経験、Tencent Classroom の常駐講師
主な内容：Javaプロジェクト、卒業制作デザイン、履歴書テンプレート、学習教材、面接問題バンク、技術共助
お気に入り、いいね、迷わないで、作者をフォローするといいですよ
記事の最後にあるソースコードを入手してください
1 はじめに
1.1トピック選択の根拠と意義
顔面神経炎は、患者さんの生活や心理に大きな支障をきたすことが多いため、患者さんの顔面神経麻痺の程度を正しく判断し、一刻も早く医療処置を講じることが非常に重要です。多くの場合、顔面神経麻痺は突然の病気ではなく、一部の患者は最初に異常な顔の不快感を経験するだけで、それを真剣に受け止めず、治癒する最も簡単な時期を逃しているため、悪化する期間があります. この記事で説明したシステムは、患者が病気を一刻も早く発見し、一刻も早く治療を受けるのに非常に役立ちますが、顔面神経麻痺のグレード判定システムは国内外で統一されて認められていないため、異なる医師は同じではありません. 監督者に依存します. 要因, 短い治療サイクルでは、医師が患者の顔の特徴に基づいて治療効果を正確に判断することは困難であり、誤診を引き起こす可能性が非常に高い.そして治療を遅らせます。そして、このシステムの確立により、医師が合理的な治療計画を立てるだけでなく、患者が自宅でシステムを利用できるようになるため、患者は直感的な状態分析を得ることができ、患者は自分自身の理解に参加することができます。やみくもに医師に従うのではなく、全過程を通じて自分の状態を把握することで、患者と医師の主観的な判断の違いによる不必要な衝突を回避し、医師の心理的負担を軽減することができます.コンピューター機械によって計算されたデータは、理論的根拠を提供することができます.医師が判断し、医師と患者の間の信頼を高め、誤解を減らし、状況を効率的に伝え、好循環を形成します。
現在、中国の多くの病院は、顔認識技術によって構築されたシステムを臨床疾患の判定に使用する予定であり、現在、体型や内臓の異常な肥大、遺伝性疾患、およびコルチゾール亢進症に広く使用されています。学者たちは現在、胎児性アルコール症候群 ( FAS)、筋痛性脳脊髄炎、およびその他の疾患における顔認識技術の応用を研究しています。このテクノロジーは、医師が病気の状態や開発動向を客観的に判断するのに役立ちます.シンプルで効率的に使用できます.コンピュータ産業とあらゆる分野の完璧な組み合わせのモデルです.
1.2国内外の研究状況と開発動向
画像認識は、特定の状況に対するコンピュータ画像の取得と処理、対象の分析と照合、特徴抽出、および分類モデルのトレーニングの手順を経て実現されます.国内外の科学者の努力により、急速な変化が達成されました.人々は適用を開始しました.この技術は、医療、農業、セキュリティ、輸送、車両分野に応用されています。これに関連して、多くの高度な医療方法は、画像認識技術のサポートと切り離すことができません.胸部X線や心電図などの日常の身体検査では、セルフサービス検索を通じてコンピューターから提供される予備的な診断情報を取得し、医師を見つけることができます.診察、低侵襲手術、脳 CT 技術、心臓病態分析、結核画像認識、糖尿病患者の網膜画像技術など [ [ i] ]。
近年、医学者は、万人のコンセンサスを得られる顔面神経麻痺のグレードシステムを実現するために多くのアイデアと研究を行っており、現在入手可能な顔面神経麻痺のグレードの判定に関する外国論文では、20以上の方法が提案されています.最も広く使用されているのは、トロント顔面評価システム (TFGS)、顔面神経機能指数 (FNFI)、HB システムなどです。中国では、2005 年と 2006 年に、中国漢方医学会と中国医学会がそれぞれ顔面神経麻痺の評価基準を起草しましたが、それらは広く使用されていません。その後、華山病院は顔面神経麻痺グレード判定システム(HFGS)のセットを独自に開発しました.テスト後、このシステムは効率性と信頼性に優れています.これにはすべての顔面神経枝が含まれています.各枝はいくつかの小さな項目に分割されています.このプログラムは当初、華山病院で推進された [ [ii] ]。
上記の分析と組み合わせると、現在、国内外に多くの顔面神経麻痺評価システムがありますが、それぞれに独自の長所と短所があるため、効率的で快適で正確な顔面神経麻痺評価システムを構築するには、まだ詳細な研究が必要です.
1.3本課題の研究内容と技術ルート
カメラによるユーザーの顔写真のリアルタイム収集を実現し、鼻先、目尻、口角、鼻の中央などのいくつかの重要な位置の特徴認識と動的ラベリングを完了します。 person; 特徴点の座標位置に基づいて中心線に対する左右の特徴点の対称性を計算し、対称性評価の結果を与える。アルゴリズムとソフトウェアおよびハードウェア システムを完成させ、 50 人以上のテスト レポートを実現します。
2段階の顔面麻痺
2.1顔面神経麻痺について
顔面神経麻痺（顔面神経麻痺）は、顔面神経損傷による顔面神経の機能障害を特徴とする一般的な障害であり、患者の表情機能障害を引き起こします。顔面神経麻痺患者の一般的な症状は、口と目が曲がっていることです. 患者が深刻な病気になると、通常の生活に深刻な影響を与え、目を閉じたり、眉を上げたり、笑ったりするなどの機能を失います [ [1] ] . 顔面神経麻痺には多くの原因がありますが、医学界はまだこの病気の具体的な原因を特定していません. 遺伝学説、ウイルス起源説、免疫学説、リウマチ学説、血液輸送説、血管圧迫説など、研究者が認識しているいくつかの病因説があります [ [2] ]。顔面神経麻痺は、発症部位によって中枢性顔面神経麻痺と末梢性顔面神経麻痺に分けられます [ [3] ]。前者は通常、顔に表情障害はありませんが、口角が片側に傾いている場合があり、後者は筋肉麻痺を起こし、生命に深刻な影響を及ぼします.健康な側だけが笑顔の表情を作るときに力を発揮できます. . 長期の病気は、患者に身体的および心理的な害をもたらし、全身の血液循環システムに影響を与え、人々の正常な社会的相互作用を妨げ、他の人と正常にコミュニケーションできない場合、吃音やあいまいさを引き起こします. 明確な病気.
2.2既存の顔面神経麻痺の程度の判定方法
- 1984年に顔面神経疾患委員会で承認された顔面神経麻痺B級判定制度。患者が目を閉じる、にやにや笑う、頬を膨らませたときの顔の特徴や筋肉の動きの程度を観察し、顔面神経麻痺を6段階に分類する制度。 、鼻にシワが寄る、眉が上がるレベルですが、レベル間の境界がぼやけており、使用感は低いです。まだ改善が必要です。柳原顔面麻痺評価システム (YFGS) [ [4] ] は、患者の 10 の顔の動きの状態を収集することによって採点され、各表情は、静止、しかめっ面、笑顔、眉を閉じるなど、4 点と合計 40 点に分けられます。口角、少し目を閉じた状態などお待ちください。顔面神経麻痺の程度を判断する体温データの可視化方法[[5 ] ]顔面は左右非対称で、ある方向の筋肉温度のヒストグラムを描くことで、顔面神経麻痺の重症度を視覚的に観察する効果が得られます。華山病院の華山顔面評価システム (HFGS) は 6 つの顔面神経枝を検出し、そのうち 5 つが 2 ～ 3 の小さな検査項目で構成されています。また、研究者は検査項目ごとに採点基準を設けており、例えば、目を閉じている場合の採点基準は、上まぶたと下まぶたの距離が3mm以上の場合は5点、2～3mmの場合は4点です。 、0 ～ 2 mm の場合は 3 点です。
スリーエッジ検出
3.1エッジ検出の基本原理
通常、プロダクションやライフで抽出されるエッジは、画像サンプルの変化が最も多くの情報を含む場所です。エッジ抽出検出の目的は、階段状の変化または屋根の変化を伴う一連のピクセルを見つけることです。
エッジはピクセルのグレー レベルが最も急激に変化する部分であるため、最も簡単な方法は、この点で導関数を計算することです。図 3-1 で表される情報については、1 次導関数の最大値がエッジであり、2 次導関数がゼロになる点がエッジです。図 3-2 の情報では、1 次微分の値が 0 になる点がエッジ点であり、2 次微分の値が最大になる点がエッジです。
図3-1ステップの変更図3-2屋根の変更
エッジ検出の一般的な手順:
1. フィルタリング、エッジ検出アルゴリズムは主に画像強度の 1 次導関数と 2 次導関数に基づいていますが、通常、結果はノイズに非常に敏感であるため、フィルターを使用してエッジ検出器のパフォーマンスを向上させる必要があります。例: ノイズ相関検出器。一般に一般的に使用されているフィルタリング方法には、主にガウス フィルタリングが含まれます.実際には、離散ガウス関数を使用して、正規化されたガウス カーネルのセットを生成し、次に、ガウス関数を使用して画像のグレースケール マトリックスの各ポイントに重みを付けて合計します.
2. 強化、エッジをより明確にする方法は、画像サンプルのすべてのポイントのピクセル変化の強度をその近くの領域で計算することです。このアルゴリズムは、特定のポイントを強調する方法を採用しています。つまり、その付近でグレー値が大幅に変化するポイントです。実際の使用では勾配変化量を計算することで求めることができます。
3. 検出、多くの場合、2 番目のステップ操作後の画像では、勾配の変化が大きいいくつかのポイントの近くに多くのポイントがありますが、場合によっては、そのようなポイントは実際のエッジ ポイントではないため、いくつかの方法を使用する必要があります。これらの点を除外するために、実際のアプリケーションでのスクリーニングには、高しきい値と低しきい値の戦略がよく使用されます。
3.2一般的なエッジ検出演算子
3.2.1一階微分演算子: ソーベル
ソーベル演算子は、画像のグレー レベルのおおよその勾配を計算するために使用される離散微分演算子です。Soble アルゴリズムの関数は、ガウス平滑化と微分 (1 次微分演算子とも呼ばれる) と微分演算子を統合します。水平方向と垂直方向を通して、画像の X 方向と Y 方向のグラデーション画像を取得します。ソーベル アルゴリズムを具体的に理解するには、どのエッジがエッジであるかを判断する必要があります。エッジは、ピクセル値がジャンプする場所であり、画像の顕著な特徴の 1 つであり、画像の特徴抽出、オブジェクト検出、パターン認識およびその他の分野。画像のエッジの取り方：エッジを取りたい部分の微分演算を行い、Δf(x)が大きいほどX方向の画素の変化が大きくなり、エッジ信号が強くなります。したがって、ソーベル アルゴリズムの計算方法は、3 x 3 のテンプレートを使用して画像の x 方向と y 方向に移動し、それに対応して同じサイズのサンプルから 9 つのピクセルを抽出し、畳み込み計算を実行して計算します。この方向のエッジ 変化の最大値。ただし、振幅の計算方法には多くの選択肢があり、一般的には、特定の条件に応じて、水平方向と垂直方向、またはその他の角度が選択されます。
ソーベル演算子検出法は、一部の特殊な画像 (多くのグレー グラデーションやノイズなど) に良い効果をもたらします。Sobel 演算子は、エッジの位置決めに対して不正確です。多くの場合、画像の端に複数のピクセルがあります (図 3-3 を参照)。エッジ抽出の精度が高くない場合、ソーベル演算子は比較的一般的なエッジ検出方法です。
図3-3 ソーベル エッジ検出
3.2.2 2 階微分演算子: ラプランス
ラプラシアン アルゴリズムはノイズの影響を受けやすいため、通常はエッジの抽出には使用されず、主に画像の明るい領域と暗い領域を推測するために使用されます。二重導関数を求めて情報を抽出します. 他の演算子と比較して, 方向性を持たないことが利点です. さまざまな方向で得られるエッジ情報も同様に重要です. 方向に関する知識が失われると、抽出されたエッジの中断につながります.この方法では、すべての方向のエッジ検出で補正操作を実行して、画像をより鮮明にし、エッジが中断の影響を受けにくくすることができます。
3.2.3非差分エッジ検出演算子: Canny アルゴリズム
アルゴリズムは特別な手段です。さまざまな画像から多面的かつ有効な情報を捉えることで、演算処理の過程で処理や計算が必要な情報を削減し、アルゴリズムの高速化を図ることができるため、現在ではさまざまな業界の画像処理プロセスで広く使用されています。その発明者は、エッジをキャプチャする必要がある場合でも、要件は基本的に同じであることを実験で調査したため、すべてのエッジキャプチャ要件を要約できるガイドラインをまとめました. エッジ検出の一般的な基準 [ [i] ]含める:
1. アルゴリズムは、エッジを抽出するために最善を尽くす必要があります。つまり、エッジを見逃したり、誤って検出したりすることはありません。
2. 検出されたエッジは真のエッジの中心に正確に配置する必要があります。
画像の特定のエッジは 1 回だけマークする必要があり、可能であれば、画像のノイズによって誤ったエッジが生成されないようにする必要があります。
キャニー アルゴリズムは、今日よく使われているエッジ キャプチャ オペレーターであり、先人による厳密な実験を通じて計算され、非常に効果的かつ正確なエッジ キャプチャ効果を実現できます。そして、上記の 3 つの条件を満たすことができ、計算手順が簡単で時間がかかるため、現在人気のあるアルゴリズムの 1 つです。
キャニー エッジ検出アルゴリズムは、次のステップに分けることができます。
- ガウス フィルターを使用することで、ぼかしとノイズの除去が実現されます。
エッジ抽出効率に対するノイズの干渉を最小限に抑えたいので、エラー確率を下げるためにノイズを削減または除去する戦略を講じる必要があります。そのため、畳み込み計算にガウス フィルターを使用して画像をぼかす効果を実現し、ノイズによるエッジ検出器の誤判定を減らします。ガウス フィルターのフィルター カーネルは、通常、奇数 * 奇数 (最小 3) です。画像に 3 の 3 倍のサイズの領域 B があり、平滑化する点が e である場合、処理後の e のピクセル値は次のようになります。
上記の式 (1) は、適切な畳み込みカーネルを選択する方法をさらに検討する必要があります。値のサイズは、キャニー アルゴリズムの検出効果に直接影響します。値が大きいほど干渉は小さくなりますが、エッジ位置を決定する精度も低下します. 実験統計によると、通常は 5 を 5 倍した方が良い結果が得られます. 図 3 ～ 4 は、それぞれ 3*3 と 7*7 のフィルター カーネルの効果図です。
図3-5ガウス フィルター カーネル3*3および7*7
2. エッジは画像のあらゆる方向から抽出できるため、Canny オペレーターは 4 つの異なる方法を使用して、画像内の 3 つの方向 (水平、垂直、斜め) のエッジを選択して検出します。グラフ内の点の勾配と方向を計算する、水平方向と垂直方向の一次微分の値を返します。このテストでは、勾配と方向を導出するためにソーベル演算子が選択されました。
3. 非最大結果制約を適用して、エッジ検出による無関係な影響を弱めます。非最大制約はエッジが疎な手法であり、「薄い」側で機能します。画像の勾配のみに依存し、勾配の変化に応じてエッジの視覚効果を抽出すると、明確で正確ではありません。基準 3: 1 つのエッジに対して正確な応答が 1 つだけ存在する必要があります. この要件は、2 番目のステップだけでは達成できません. このステップでは、極大点の外側にある他の点の勾配値を効果的に 0 に変更できます.
グラフ内のすべてのポイントに対してこの手順を実行します。具体的な手順は次のとおりです。
(1) 現在計算されているポイントの水平方向の左と水平方向の勾配の 2 つのピクセルを参照として取得します。
(2) 計算中の点が基準点よりもピクセル勾配が大きいと仮定すると、この点はエッジ カテゴリとして分類され、逆に、この点は制約されます。多くの場合、より正確な方法が採用されます。つまり、2 つの参照ポイント間のピクセル値を線形補間して、実際のベンチマーク比較オブジェクトを取得します。
(3) 図 3-5 および 3-6 に示すように二重しきい値テストを適用して、信頼できる隠れたエッジを抽出します。
図3-6 Cannyアルゴリズムの低しきい値図3-7 Canny高しきい値効果図
4. 最大結果ではないピクセルを制限した後、残りのポイントは画像の本質的なエッジをよりリアルに表現できます。ただし、ノイズや色の変化による一部のエッジピクセルはまだ残っています。これらの散乱応答を処理する目的を達成するために、上限と下限を選択する方法を採用することをお勧めします。エッジ ピクセルの変化値が上限よりも小さく、それ以外の場合は最小境界面よりも大きいと仮定して、記録します。それを弱いエッジとして、エッジ ピクセルの変更値を想定します。最小制限よりも小さい場合は、制約によって削除されます。上限値と下限値の設定は、検出する画像の特定の状況によって異なります。しかし、彼のしきい値には適応機能がなく、状況に応じて選択する必要があるため、多くの人が Canny アルゴリズムに多くの改良を加えています [[ ii] ]。
5. 上記の手順で個々の弱いエッジを制約した後、明確なエッジは、画像の実際のエッジのサブセットであるため、強いエッジとして識別されるピクセルのセットです。ただし、弱いエッジが抽出する必要があるエッジであるかどうかは、その構成が正確なエッジである可能性があるか、ノイズの変化や色の変化によって引き起こされる可能性があるため、検証する必要があります。したがって、決定的なエッジを抽出するには、ノイズや色によるエッジの出現を禁止する必要があります。一般に、ノイズや色の変化によるエッジは、実際のエッジには接続されません。弱いエッジとその周囲の 8 つの隣接するピクセル値を観察してエッジの接続を判断する方法を採用し、8 つの点のうちの 1 つが強いエッジである限り、正確なエッジのカテゴリに分類できます。
3.3章のまとめ
上記の分析と実験結果のスクリーンショットに基づいて、ソーベル アルゴリズムのエッジ抽出精度はあまり高くなく、エッジに多くの余分なピクセルがありますが、ノイズが多く複雑な画像ではうまく機能することがわかります。Laplance 演算子は、ノイズの多い画像ではうまく機能しません。ただし、抽出された境界は明るい領域と暗い領域を非常にうまく分割します. 最後に、canny 演算子は既に優れた検出アルゴリズムですが、まだ欠点があります [ [ iii] ] 例:
(1) 画像を収集した後, 前処理を行う必要があります. ガウス フィルタリングを実行する場合, ガウス フィルタリング カーネル サイズの選択を考慮する必要があります. 選択が不適切な場合, ノイズ フィルタリングとエッジ情報抽出の両方で良い結果が得られない可能性があります.
(2) キャニー アルゴリズムで選択されたガウス フィルターではごま塩ノイズとインパルス ノイズを除去できないため、非常に多くのエッジがノイズになります。
(3) キャニー アルゴリズムの 4 番目のステップでは、2 つのしきい値を使用して正確なエッジを決定します. さまざまな使用シナリオでは、収集された画像は光、明るさ、およびコントラストの影響を受け、しきい値は常に変更する必要があります.アダプティブ機能で処理が面倒ですが、貼り付けて実用化せずに疑似エッジを取得します [ [iv] ]。
4 つの改善されたエッジ検出アルゴリズム
4.1適応調整
実験では、さまざまな機会に収集された写真は、さまざまな明るさとコントラストを持ち、エッジ検出の効果に影響を与えることがわかりました (図 4.1 光強度、4.2 光強度に示すように)。が検出され、光が暗い場合は比較的少ない線が抽出されます。また、光が悪いと、画像の詳細が大幅に失われ、エッジの抽出と特徴点の決定にエラーが発生することも説明できます。
4.1.1明るさとコントラストの調整
通常、画像操作演算子は関数です。これには 1 つ以上のパラメーターがあります。つまり、操作のために 1 つ以上の画像を渡すことができ、最後に変更された新しい画像が生成されます。変更にはさまざまな種類がありますが、ここでは 2 つ紹介します。画像のコントラストと明るさを調整するために使用されるポイント変更と、画像のフィルター処理やその他の畳み込み操作に使用されるフィールド変更です。前者の一般的な操作は、画像内の各ピクセルに対して算術演算を行うことです。2 つの変数が一般的に使用され、画像の明るさとコントラストが変更されます。これらはそれぞれゲインとオフセットと呼ばれます。結果を図 4-1 に示します。
図4-1明るさとコントラストの調整前後の変化
4.1.2空間フィルター
通常のフィルターは通常ドメインで構成され、その範囲内のピクセルの変更に作用します。前者は、一般的な操作の計算対象が特定の矩形範囲内のピクセルであるためであり、後者は、フィルタリング操作が通常、矩形領域内のそれらの点に対していくつかの特別な変換ステップを実行し、変換されたピクセル値をピクセルとして使用するためです。ポイントの値. 新しい結果は、まったく異なる画像を出力します. 一般的に言えば、そのエイリアスまたは略語はカーネル、テンプレートです. これらの変化するステップに従って、線形または非線形の 2 つのタイプに減らすことができます。さまざまな写真に対するフィルターの最終的な効果に応じて、通常は次のように分類されます。スムーズまたはシャープ、
前者の一般的な機能は、画像をぼかしてノイズ干渉を減らすことですが、後者は画像のエッジをより明確にし、グレースケールの変化の位置を大きくすることです。
最も一般的な非線形のものは、図 4-3 に示すようにメディアン フィルターです. その演算プロセスは、特定のポイントの長方形領域内のすべてのピクセルを取り出し、中央値の値を新しいピクセルとして使用します。ポイントの価値。目的は一般に、この点のピクセルとグレーのサイズ、およびその周辺領域との点の差を縮小して、孤立したノイズを減らすという目的を達成することです。したがって、この方法はごま塩ノイズの干渉を効果的に回避できます。さらに、ノイズを回避するために使用できるだけでなく、平均フィルターのような画像の歪みを引き起こす代わりに、画像が完全なエッジ コンテンツをより高いレベルで維持するのにも役立ちます。ただし、操作矩形サイズの選択を誤ると悪影響が出やすい、比較的小さい矩形を選択すると、出力画像のディテールは復元されるが、不要なノイズ干渉が発生するなどの欠点があります。また保持されます。ただし、矩形領域を大きく設定すると、ノイズ干渉を効果的に回避できますが、出力画像はさまざまな程度で歪んでしまいます。さらに、その原理を組み合わせることで、この長方形領域内のノイズの数が、この領域内の画像を構成するポイントの数よりも多いと仮定すると、その最終的な操作効果はそれほど満足できるものではないことがわかります。次に、フィルタリング操作の矩形領域の範囲を拡張できます.この方法では、過度のノイズの影響をわずかに改善できますが、画像効果の歪みにつながります. 通常の状況では、以前の実験の結論によると、ノイズ ポイントの数が画像全体のピクセル数の 0.2 倍未満である限り、このフィルターの演算結果は依然として非常に適用可能です。ただし、画質がイマイチでノイズが多い場合は、通常の操作ではダメです。
したがって、上記の分析と組み合わせて、ノイズフィルタリングを実行する場合、特定の操作領域の実際の状況に応じて、カーネルのサイズをいつでも調整でき、ノイズを除去できます.中央値はとして使用されます交換結果。この自動調整フィルターは、ごま塩やその他の非インパルス ノイズの除去を実現できます。ウィンドウ サイズはいつでも調整できるため、情報収集の観点から抽出されたほうがよいエッジが特にぼやけたり、ぼやけたりすることはありません。非常にぼやけた光。
4.1.3適応メディアン フィルタリング アルゴリズムの説明
自己調整フィルターは、発生回数の多いインパルス性ノイズを除去できるだけでなく、サンプルの小さなリンクに関する知識を収集する強力な機能も備えており、これらすべてが独自の利点です。通常のフィルターと共通するのは、長方形の動作領域、つまりカーネルが存在する必要があることであり、両者の違いは、動作中にスライドする領域の特定の条件に応じてカーネルが変化することです。 3.2 と同様. セクション 3 でガウス フィルターが導入された場合、異なるカーネル サイズを選択した場合の効果は異なりますが、意味はここでも同じです。
このアルゴリズムの詳細な説明では、次の表記法を使用する必要があります。
: 横座標が x、縦座標が y の点のグレースケール サイズ
：動作範囲の最小階調
：動作範囲内のグレースケール中央値
：動作範囲の最大面積
: ノイズフィルタの動作範囲、xy は矩形領域の中心位置の横軸、縦軸
まず、最初のステップの目的は、選択された動作範囲内で抽出されたピクセルのグレースケールがノイズ点であるかどうかを判断することです.一致するサイズが と の間であると仮定すると、この点はノイズ点ではありません. と または のサイズが等しいなど、いくつかのまれな可能性を除外すると、この点はノイズ点であり、長方形の操作領域の面積を増やして、ノイズ点ではない点を抽出する必要があります新しい操作範囲。2 段階の操作を行ってもノイズのない点が見つからない場合は、グレースケール の点を出力します。
次に座標(x, y)の点がノイズ点かどうかを判別する. 判別方法は上記と同じ, に置き換えて計算する. 最終的な識別結果がノイズである場合は、このポイントをフィルターに置き換えます。それ以外の場合は、このポイントを維持します。最終結果を図 4-5 に示します。
図4-2プラス ごま塩ノイズ図4-3メジアン フィルター
図4-4ガウス フィルター図4-5適応メディアン フィルター
4.1.4ヒストグラム等化
ヒストグラムの平坦化とも呼ばれるヒストグラムの均等化は、画像のすべてのピクセルをその位置に応じて横軸に配置し、それらを非線形に引き延ばすことで、画像上の任意のグレー値に対応する発生数がおおよそ同様に、最終的な出力画像のヒストグラムを以前と比較し、より頻繁に発生するピクセル値は、発生数の変化が均一な一連のポイントになります。図 4-8 に示すように。
画像のヒストグラムとは、画像のすべてのピクセル値がグレー レベル (0 ～ 255) にある回数を指し、グレー レベルが表示された回数が累積され、それに応じてヒストグラムが生成されます。ヒストグラム (図 4-6) は、画像のグレー レベルの分布特性を反映しています。図 4-7 は、グレースケール サイズと画像に表示される回数との直接的な関係を示しています。x 座標軸はグレースケール サイズを表し、y 座標軸は画像に表示されるグレースケールの数を表します (つまり、ピクセル数). その全体の座標系は、画像のグレー レベル分布を記述するため、画像のグレー レベル分布の特性を見ることができます。つまり、ほとんどのピクセルが低グレーに集中している場合レベルエリア、画像が表示されます。
図 4-8 は、操作サンプルのヒストグラムを均等化した結果です. 元の結果には明らかな山と谷がありますが、修正後は、特に目立った突起のない滑らかな曲線に変わります. その原理は、画像を作成することです.変化、異なるグレー値の発生数はほぼ同じであるため、一部のポイントのグレー サイズが拡大され、コントラスト強調の視覚効果が図 4-9 に表示されます。
4.1.5画像融合
上記の sobel と canny の結果の比較に基づいて、両方とも平滑化機能 [ [i] ]を持っていることがわかりますが、それぞれに独自の特性があります. ノイズに関しては、canny が優れたノイズ除去効果を持っています. sobel はノイズに敏感なため、抑制できます. エッジ抽出に関しては、接続効果は視覚的に優れています. エッジは正確で完全ですが、エッジは非常に薄く、強さと弱さのコントラストはありません. sobel によって抽出されたエッジ方向性がはっきりしていて強弱がありますが、視覚的にはあまり正確ではありません。2つの特性に基づいて、2つのそれぞれの長所と短所を組み合わせてイメージを融合させることができます。
4.2章のまとめ
上記のいくつかの方法を組み合わせることで、システムで直感的な視覚効果を見ることができます。明るい 写真の細部が多すぎ、情報が複雑すぎるため、最終的な顔認識効果が低下します。図 4-12 と図 4-13 は、キャニー アルゴリズムのパラメーターのしきい値を変更することによって達成される効果です. この章では、キャニー アルゴリズムの動作原理の繰り返しを避けるためにこの方法については言及しませんが、図 4-図 10 と 4-11、図 3-5 と 3-6 を比較すると、しきい値を調整することで、エッジの詳細の記述が大幅に変更できることがわかります。しきい値が小さいほど、より多くの詳細が保持されます。したがって、光が明るいときにしきい値を上げると、不要な詳細を削除できます.光が暗いときは、しきい値を下げて詳細情報をできるだけ保存して、適応目標を達成します. 図 4-13 に示すように、エッジ ロスが深刻であり、しきい値を 20 に調整する必要があることは明らかです。次に、図 4-14 は、明るさのコントラストを調整し、ヒストグラム操作を実行した結果です 図 4-15. ヒストグラムの均等化の後、比較的強い線は明らかに太くなっていますが、比較的明るい線はフィルター処理されていることがわかります。アルゴリズムの動作原理から、画像のピクセル値を直接変更して、ピクセル値の発生数の分布を均一にすることでアルゴリズムが実現されることがわかります。そのため、発生数の少ない一部のピクセルは、この方法は効果的に行うことができます 強力なエッジ強調の場合、代償として一部の詳細が失われますが、これには 2 つの側面がありますが、この欠点はキャニー アルゴリズムのしきい値を調整することで補うことができます。写真の明るさを直接調整することに関しては、図 4-14 からわかるように、写真自体の明るさとコントラストをやみくもに直接調整すると、実際には詳細が失われます。画像そのものの明るさではなく、外光などの原因によるものかもしれませんが、
5人の顔検出
上記の手順で、顔のエッジ画像をできるだけ正確に取得できました.次に、キーポイントを取得する前に、画像の顔部分を抽出する必要があります. 現在一般的に使用されている方法には、harr 機能に基づくカスケード分類器、lbp に基づくカスケード分類器、および dlib ライブラリを使用する方法などがあります。
5.1 Lbp または haar 特徴のカスケード分類器
Lbp はローカル バイナリ モードとも呼ばれ、中点のピクセル値を基準とし、周囲のピクセルが 1 より大きく 0 未満であり、中心ピクセルのローカル バイナリの特徴は、バイナリ形式で出力することによって得られます。局所二値特徴 画像の点、線、エッジ、角、平坦部などの特徴を取得できます. lbp はスケール不変性と回転不変性を持っています.
Haar 特徴は、クラス間変動性が高く、つまり、各特徴間に大きな違いがあり、クラス間変動性が低く、同じ特徴検出結果が基本的に一貫しており、局所強度が低く、空間照明回転不変性、および計算効率が高い. Haar 特徴は顔を検出し、顔の k 特徴を選択して n 領域で比較できます。このうち、haar の特徴は浮動小数点演算、lbp は整数演算であるため、前者の速度は数倍遅くなりますが、同じサンプル データの下で haar によってトレーニングされたデータ検出結果は lbp よりも正確であり、lbp が必要です。同じ効果を得るには、より多くのサンプル データを使用します。
カスケード分類器の原理 [ [i] ]: 分類器は、多数のポジティブおよびネガティブ画像サンプル データを通じてトレーニングされます, これは、トレーニングが遅く、検出が速いという特徴があります. 各機能は弱分類器であり、複数の弱分類器強い分類を形成する 弱分類器は決定木 (図 5-1 に示すように) で構築でき、抽出された特徴は分類器の特徴と 1 つずつ比較され、特徴が人の顔に属しているかどうかが判断されます。実際、強分類は各弱分類に投票させる最初のステップであり、次のステップは、異なる分類器による誤判定の可能性に応じて重みを選択し、重みに従って合計操作を実行することです.つまり、平均値の計算結果は、最終的な判断を下すための参考として使用されます。
5.2 DLIB顔検出
opencvに付属するhaarやlbpのデータモデルは顔検出に使われることが多く効果はより優れていますが、このシステムでは機械学習に関するツールインターフェースが多く含まれている非常に一般的なc++ライブラリパッケージであるdlibを使用しています。速度が速く、opencvで取得した顔画像が顔検出時に正しい方向を向いていないと、opencvが顔を検出できない場合がありますが、dlibではまれに発生します。この方法はカスケード回帰の戦略を採用しているため、最初のステップは、トレーニング データ サンプルと同じサイズと背景を持つ、特別に処理された人物の写真を大量に収集することです。次のステップは、データ モデルを取得するためにトレーニングすることです。写真を入力すると、dlib はそのライブラリ内の検出器を使用して、マッチングのために公式にトレーニングされたデータ モデルを呼び出し、抽出された顔の rets を返し、ライブラリ インターフェイスを呼び出して返された値を操作します。パラメータには68点の位置情報が格納されており、ユーザはこのパラメータを介して各点の座標位置を直接知ることができます。形状から68点の特徴点が得られます（図5.2）。
顔面神経麻痺の六等級の算出
6.1画像データの取得
このシステムは、コンピュータ カメラを使用して写真を収集し、Visual C++2015 を開発ツールとして使用し、videocapture を通じてカメラを呼び出して患者の画像をリアルタイムで撮影するもので、次のような厳しい環境で収集する必要があります。
(1) 収集する写真は、患者の顔全体で、可能な限り左右対称である必要があります。
(2) 異なる表現を収集するときは、同じ光源の下にある必要があり、光源は自然に均等に分散されている必要があります。現在、顔面神経麻痺の程度の判断は、主に医師の主観的な判断に依存しており、現在、一般的に受け入れられている判断方法はありませんが、顔面神経麻痺の臨床的特徴によれば、顔面神経麻痺に苦しんだ後、麻痺、人は目を完全に閉じることができず、普通にニヤリと笑ったり、ドラムを叩いたりする. 頬を持ち上げるときに口を閉じることができず、眉を上げるときに眉の片側しか持ち上げることができない. 「じっとしていると、顔が歪んでいることがわかります。これらの特徴に基づいて、前のステップで抽出された特徴点と組み合わせて、いくつかの計算を行うことができます。顔面神経麻痺の分類。
6.2垂直距離法（14点）
上記の顔面神経麻痺患者の外見的特徴に従って、顔の特徴点の座標を取得するために顔の特徴に68点をマークすることにより、最初に特徴点の7つのペアを選択します。左右の目と眉毛の最高点、正常な人は同時に同じ範囲で眉毛を上げることができるので、y座標差は同じですが、左右の眉毛のy軸差は患者は明らかに矛盾しており、差が大きいほど病気は深刻です。左右の口角で同時にニヤリと笑うことができない患者さんには、左右の口角（左：48 右：56）を選択し、y で差をつけることができます。どんな表情をしても変わらない目頭のコーディネート。患側の完全に閉眼できない患者の特徴に合わせて、左右の目の上まぶた特徴点（左：38 42 右：44 45）を選択し、差をつける必要があります。より大きい。患者が鼻をつまんだり、鼻をつまんだりする表情をすると、患側の筋力が低下しているため、鼻の外側と目頭の間の距離が比較のために遠くなります。最後に、一部の重病患者は、静的な状態で明らかな歪んだ口角を持っている可能性があります.インターネットから収集した写真から、重病患者のほとんどは口の外側の角が深刻にずれていることがわかります。右目尻を記録することができますが、変わらない目頭のy軸座標の差を計算して比較します。最後に、5 セットの差異が収集され、参加レベルの計算における各セットの差異の重みは、医師の臨床経験に従って選択されます。このシステムは平均計算を使用します。
7つの結論
人々の生活ペースの加速に伴い、人々の日常生活は以前よりもはるかに健康的ではなくなりました.顔面麻痺は比較的一般的な病気になりました.顔面麻痺の発症時期は年齢とは関係ありません.子供から高齢者まで.病気のケースがあります。また、現代の中高年は、生活に大きなプレッシャーがあり、煩雑な事情があり、比較的つらい状態が長く続くため、特に病気になりやすい傾向にあります。特に若者が運動をしたり、仲間の中で過食したりした後、大量のアルコールを飲み、換気口やエアコンに直面した後、病気を引き起こすのは非常に簡単です. 顔面神経麻痺の患者さんは年齢制限がなく、子供からお年寄りまで発症する可能性があります。昨今、若年層や中高年層の仕事のストレスや、夜更かしなどの生活習慣の悪さが過重労働につながり、顔面神経麻痺になるリスクが高まっています。大量の発汗、アルコールを飲んだ後のエアコンや扇風機の吹き付けは、夏に若者が顔面神経麻痺に苦しむ最大の引き金です。したがって、顔面麻痺のレベルを便利かつ迅速に検出できるシステムを開発する必要があり、研究とユーザーからのフィードバックを深めることで、システムは継続的に改善されます。
このトピックでは、opencv に基づく顔認識技術を採用し、顔面神経麻痺患者の顔の非対称度に基づいて、顔面神経麻痺認識システムを確立します。医療診断における顔認識技術のスキームは、被写体を撮影→自動または半自動でマーカーポイントを設定→顔の特徴データを抽出→既知のパターンと比較・分類する[7]。各顔が辞書であると仮定すると、face_landmarks と opencv の関数ライブラリを介して、顔の特徴点のリストを取得することが期待されます。これには、nose_bridge、right_eyebrow、right_eye、chine、left_eyebrow、bottom_lip、nose_tip、top_lip、left_eye が含まれ、各パーツには次のものが含まれます。いくつかの部分の特徴点 (x, y)、合計 68 の特徴点があり、そのうち少なくとも 5 つの特徴点が切られ、対称軸に基づく方法または対称軸と距離差の方法 [1] が使用されます。患者のさまざまな顔の特徴を比較する.対称性の程度は、顔面麻痺の程度を分析するために使用されます.
この研究は予備的に検証されており、顔面神経麻痺やその他の疾患の補助診断に使用されています。患者の顔にある特定のランドマークの位置データを抽出し、患者の顔データ情報を解析することで、肉眼では判別が難しい発生傾向を把握し、タイムリーな状態判断を行うことができます。顔認証技術を医療診断に応用することで、病気の診断の遅れや医療リソースの不足といった問題を軽減することができ、将来的には病気の早期発見、臨床診断の効率化、医療従事者への医療提供などへの活用が期待されます。医療診断の新しい視点。