人工知能に基づく CBCT 歯と歯槽骨の全自動セグメンテーション システム
まとめ
歯科用コーンビーム CT (CBCT) 画像から個々の歯と歯槽骨を正確に描写することは、正確な歯科治療のためのデジタル歯科医療における重要なステップです。この論文では、実際の患者の CBCT 画像を効率的、正確かつ完全に自動でセグメンテーションするための人工知能システムを提案します。当社の AI システムは、15 の異なるセンターからの 4,215 人の患者 (4,938 回の CBCT スキャン) を使用した、これまでで最大のデータセットで評価されました。この完全に自動化された人工知能システムは、効率を大幅に向上させながら（つまり、500 倍高速に）、経験豊富な放射線科医に匹敵するセグメンテーション精度（例、平均 Dice 類似性係数の 0.5% 向上）を達成します。さらに、結果はさまざまな歯の変形を伴う困難な症例に対して一貫して正確であり、歯槽骨セグメンテーションの平均 Dice スコアはそれぞれ 91.5% と 93.0% でした。これらの結果は、デジタル歯科における臨床ワークフローを促進する強力なシステムとしての可能性を示しています。
導入
生活水準の向上と歯の健康に対する意識の高まりにより、正常な機能を確保し、顔の外観を改善するために歯科治療（歯列矯正、歯科インプラント、歯の修復など）を求める人が増えています。口腔疾患調査によると、世界のほぼ 90% の人が何らかの歯の問題を抱えており、その多くが歯科治療を必要としています。歯科治療の臨床現場では、通常、2D パノラマ x- などのさまざまなモードの医用画像処理が必要です。放射線、3D 口腔内スキャン、および 3D コーンビーム コンピューター断層撮影 (CBCT) 画像を利用して、診断、治療計画、手術を支援します。利用可能なすべてのオプションの中で、CBCT イメージングは、無傷の歯と歯槽骨の包括的な 3 次元体積情報を提供する唯一の方法です。したがって、デジタル歯科医療では、CBCT 画像から個々の歯と歯槽骨構造をセグメント化して正確な 3D モデルを再構成することが不可欠です。
CBCT の紹介。 。 。 。
過去の作品
- 過去 10 年間にわたり、歯のセグメンテーション用の手作りの特徴 (レベル セット、グラフ カット、テンプレートのフィッティングなど) を設計する多くの方法が検討されてきましたが、これらの低レベルの記述子/特徴は、歯科用 CBCT 画像の複雑な外観に敏感であり、したがって、初期化または修正するには面倒な手動介入が必要です。
- 近年、畳み込みニューラルネットワークに基づく深層学習は、大規模なデータからタスク指向で代表的な特徴や予測的な特徴を学習する強力な能力により、さまざまな分野で大きな応用が期待されています。コンピューター ビジョンおよび医療画像計算におけるディープ ラーニングの大成功に触発されて、歯や骨の構造のセグメンテーションにディープ ニューラル ネットワークを使用する一連の研究が試みられています。しかし、これらの既存の方法は、3 つの主要な課題のため、完全に自動化されたものや臨床応用にはまだ程遠いです。 1. 全自動の歯と歯槽骨のセグメンテーションは複雑で、少なくとも 3 つのステップ (ROI の位置決め、歯のセグメンテーション、および歯槽骨のセグメンテーション) が必要です; 2. 歯の欠損や位置ずれなど、臨床現場でよくある複雑な症例への対応が困難です。歯、金属アーチファクト、その他の問題により、患者がスキャンした CBCT 画像の構造は大きく変化します; 3. 過去の方法は通常、非常に小さなデータセットで実装およびテストされており、その汎用性と適用性は弱いです。
ROI (関心領域) 関心領域は、元の画像の提案領域です。
ROI 生成ネットワーク
この記事は機能します
この研究では、臨床的に安定しており、歯科用 CBCT 画像から歯と歯槽骨を自動的にセグメント化する正確な深層学習ベースの人工知能システムを開発しました。
- 歯のセグメンテーション、ROI 生成ネットワークまず、上顎と下顎の前景領域を特定して、高解像度 3D CBCT 画像でセグメンテーションを実行する計算コストを削減します。。次に、具体的な2段階のディープネットワーク包括的な幾何学的情報 (歯の層状の形態学的コンポーネントから自然に固有のもの) を明示的に利用して、個々の歯を正確に描写します。
- 肺胞セグメンテーションの場合、1 つ特定のフィルター拡張ネットワークまず骨の境界付近の強度コントラストが強調され、次に強調された画像が元の画像と結合されて、骨構造に正確に注釈が付けられます。
- AI システムの堅牢性と汎用性を検証するために、これまで最大のデータセット、つまりデータ分布が異なる 15 の異なるセンターからの 4,215 人の患者の 4,938 回の CBCT スキャンで評価を実行しました。さらに、当社の人工知能システムの臨床的有用性または適用可能性も、2 人の専門放射線科医によるセグメンテーションの精度と効率の詳細な比較を通じて慎重に検証されました。
研究結果
研究デザインと参加者
この研究では、中国の複数の病院と 12 の歯科医院から歯科用 CBCT 画像を収集しました。すべての画像は、日常的な臨床ケアのスキャン中に撮影されたものです。メーカーごとの CBCT データの違いは、優れた堅牢性と汎用性を備えた AI システムを開発するには大規模なデータセットを収集する必要があることを示しています。実際には、困難な歯の異常ケース (歯の欠損、歯列のずれ、金属アーチファクトなど) に遭遇することが多いため、AI ベースのセグメンテーション システムの実現可能性と堅牢性を検証することが重要です。
モデルのトレーニングとパフォーマンス評価のために個々の歯と歯槽骨のグラウンド トゥルース ラベルを定義するために、各 CBCT スキャンに手動で注釈が付けられ、経験豊富な上級学年が検査しました。
データセットのパーティショニング
複数の病院のデータセットは内部データセットと呼ばれ、12 の歯科医院のデータセットは< a i=3> 外部データ セット。 この実験では、データの 70% がモデルのトレーニングと検証のために内部データ セットからランダムに選択され、残りの 30% が内部テスト セットとして使用されました。さらに、学習された深層学習モデルがまったく未知のセンターおよび患者コホートからのデータにどのように一般化されるかをさらに評価するために、外部データセットを使用して独立したテストが実行されました。 この人工知能システムの臨床応用性を検証するために、外部セットから 100 個の CBCT スキャンをランダムに選択し、セグメンテーションの結果を放射線科医が作成した結果と比較しました。
私が理解しているのは、内部データセットと外部データセットが分割されているのは、内部データセットのトレーニングデータとテストデータが大規模なデータセットから取得されており、それらの異常なデータ分布が比較的似ているのに対して、外部データセットを使用するといくつかの異なるデータが導入される可能性があるということです。歯科の異常分布。現実の臨床現場で見られる不均一な環境をシミュレートします。
セグメンテーションのパフォーマンス
主な評価指標は次の 3 つです。ダイスのスコア、感度そして平均表面距離誤差 (ASD)。定性的評価では、画像強度分布を大きく変える歯の詰め物、インプラント、または金属クラウンによって導入された金属アーチファクトにもかかわらず、フレームワークがうまく機能し、システムが高い堅牢性と一般化能力を示していることが示されており、金属を装着した患者のパフォーマンスの低下はわずかしかありませんでした。インプラント。
ダイス スコア ダイスは、セグメンテーション結果 R とグラウンド トゥルース結果 G の間の空間的重複を測定するために使用され、次のように定義されます。
感度は、真陽性と偽陰性を加えた真陽性の比率を表します。
平均表面距離誤差 (ASD) は、セグメンテーション結果 R とグラウンドトゥルース G の ASD を指します。
アブレーション実験
本格的なシステムのすべての部分が不可欠であることを確認するために、一連のアブレーション実験が実施されました。
-
人工知能システム
-
このシステムには骨格情報は含まれていません
-
このシステムにはマルチタスク学習ソリューションは含まれていません
アブレーション実験後、実験 2 と実験 3 のすべての指標が 1 よりも低いことがわかり、これは階層的形態学的表現を示しています。歯を正確に分割するシステムの有効性。
別のアブレーション実験を実施しました -
人工知能システム
-
それなしHarr フィルターの強化 のモデル
比較すると、実験 1 の指数が実験 2 の指数よりも大幅に高いことがわかりました。これは、歯槽骨と軟組織の間の強度コントラストを強化すると、より正確な境界を学習する骨セグメンテーション ネットワーク
Harr フィルターの強化。 。 。
他の方法と比較する
比較した結果、人工知能システムには3 つの利点があることがわかりました。
- AI システムは完全に自動化されていますが、既存の手法のほとんどは人間の介入が必要です。
- このシステムで提案されている階層的形態学的表現により、システムは最高の歯のセグメンテーション精度を実現できます。
- このシステムは、CBCT 画像から関節歯と歯槽骨のセグメンテーションを実行する初の深層学習の取り組みです。
放射線科医と比較してください
完全に自動化された歯と歯槽骨のセグメンテーションに対するこの人工知能システムの臨床応用性を検証するために、外部セットからランダムに選択された 100 回の CBCT スキャンで専門放射線科医によるパフォーマンスと比較されました。 5年以上の専門経験を持つ放射線科医を2名採用します。
結果表示
- このシステムは、セグメンテーションの精度において 2 人の専門家よりわずかに優れたパフォーマンスを示しました。
- 手動アノテーションと比較して統計的に有意な改善
- 専門医師による歯の描画精度は歯槽骨の描画精度に比べて低く、また、専門家の領域分割効率もこのシステムに比べて著しく低い。
- 定性的な比較により、このシステムによって再構築された 3D 歯モデルの表面は、専門家が手動でマークしたモデルよりもはるかに滑らかであることがわかりました。
これらの結果は、2D スライシング操作 (つまり、放射線科医が実行する) ではなく 3D 空間でのセグメンテーションの利点をさらに強調しています。
臨床改善
プロジェクトの臨床パートナーは、このパフォーマンスが歯科矯正や歯科インプラントにおける医師と患者のコミュニケーションや治療計画など、多くの臨床および産業用途で完全に許容できることを確認しており、人工知能システムが優れていることを実証しています。臨床的有用性が高い。
話し合う
上記のことに加えて、私たちは別のことも行いました。それは、大規模な CBCT データセットに埋め込まれた臨床知識、つまり、参加者の年齢に伴う歯の体積と密度の変化の軌跡を調査することです。 。
この研究では全体的に有望なセグメンテーション結果が得られましたが、CBCT 画像の解像度が限られているため (つまり、0.2 ～ 0.6 mm)、歯冠の詳細な表面を再構成するにはまだ欠点があります。臨床的には、口腔内スキャナーでスキャンされた 3 次元歯牙モデルは通常、歯冠の表面を表す高解像度 (0.01 ～ 0.02 mm) を備えており、歯の咬合解析には役立ちますが、歯根の情報が不足しています。したがって、CBCT画像から再構成された歯冠の形状を改善するために口腔内スキャンを使用することには価値があります。今後の作業では、現在の方法の後処理ステップとして、プロジェクト チームはいくつかのペアの口腔内スキャンを収集し、それらを CBCT セグメンテーションの結果と組み合わせて、解像度の高いクラウン形状を備えた完全な 3 次元の歯と歯槽骨モデルを構築します。これは、デジタル歯科用のより正確な人工知能システムにつながります。
要約すると、この研究は、CBCT 画像に基づいた 3 次元歯槽骨セグメンテーションのための完全自動、正確、堅牢、そして最も重要なことに臨床応用可能な AI システムを提案します。このシステムは広範囲に検証されています。歯科 CBCT 画像の大規模な多施設データセット。この研究はまた、人工知能と歯科医学を組み合わせることで、デジタル歯科医療の将来に有望な変化をもたらすことも示しています。
方法
データの前処理
収集された CBCT 画像の物理解像度は 0.2 ～ 1.0 mm の範囲であるため、計算効率とセグメンテーション精度のバランスを考慮して、すべての CBCT 画像は 0.4 × 0.4 × 0.4 mm3 の等方性解像度に正規化されます。たとえば、解像度が 0.4 mm より高い場合はダウンサンプリングが導入され、そうでない場合は 3 次元 CBCT 画像がアップサンプリングされます。
ボクセルごとの強度は、深層学習における画像処理の標準プロトコルに従って区間 [0,1] に正規化されました。
特に金属アーチファクト領域における極端な値の影響を軽減するために、各 CBCT スキャンの強度値は、強度正規化の前に [0,2500] にクリップされます。
モデルの実装
上の図は、個々の歯をセグメント化するための階層的形態学的誘導ネットワークを含む、深層学習ベースの人工知能システムの概要を示しています。入力 CBCT 画像から歯槽骨構造を抽出するためのフィルター強化ネットワーク。このサブセクションでは、これら 2 つのネットワークについて詳しく紹介します。詳細なネットワーク アーキテクチャは補足資料に示されています (補足図 2-5)。
3 次元 CBCT 画像の視野は通常、顎顔面構造全体を捉えていることを考慮すると、歯の面積は比較的小さくなります。したがって、まずエンコーダ デコーダ ネットワークを適用して、前景の歯を自動的にセグメント化し、歯の領域の位置を特定します。これは、異なる歯を分離しないバイナリ セグメンテーション タスクであることに注意してください。図 2 に示すように、この段階では を直接使用します。V-ネット41 で ROI を取得します。具体的には、GPU メモリの制限により、入力として CBCT 画像からサイズ 256 × 256 × 256 のパッチをランダムにクロップします。ネットワークのトレーニング段階では、バイナリのクロスエントロピー損失を使用して、畳み込みの最後の層によって出力される確率マップを監視します。
歯の ROI を取得した後、 以前に開発された階層的形態誘導ネットワークを使用して、個々の歯の自動かつ正確なセグメンテーションを実行しました 。ネットワークはまず各歯を検出し、予測された骨格で表現します。これにより、各歯を安定して区別し、複雑な幾何学的構造を捕捉できます。次に、最初のステップの出力に基づいて、単一の歯のセグメンテーション用のマルチタスク学習ネットワークを導入し、対応する咬頭と境界を同時に回帰することで予測します。 . 各歯のボリュームマスク。この方法は、背景組織、特に根の領域から各歯を正確に表現してセグメント化するという点で自然になるように設計されています。歯の移動によって根が影響を受けないようにするため、正確なセグメンテーションは矯正治療において非常に重要です。周囲の骨を貫通します。 。ネットワーク アーキテクチャの概要を上の図に示します。具体的には、最初のステップの重心およびスケルトン検出ネットワークは、2 つの出力ブランチを持つ V-Net41 構造です。 1 つのブランチは、対応する歯の重心点またはスケルトン ラインを指す 3 次元オフセット マップ (つまり、3 次元ベクトル) であり、もう 1 つのブランチは、歯のバイナリ セグメンテーション マスクを出力します。これは、画像内の背景ボクセルをフィルタリングするために使用されます。 3次元オフセットマップ。予測された歯の重心点および骨格を使用して、空間的な重心位置に従って各歯を区別し、同時に歯の数を識別するために高速クラスタリング方法４２が最初に実行される。検出された各歯は、そのスケルトンによって表現できます。単一歯のセグメンテーションの 2 番目のステップでは、マルチタスク歯セグメンテーション ネットワークの 3 つのチャネル入力は、歯の重心マップ、スケルトン マップ、および歯の ROI 画像から切り取られたプラークです。 **各チャンネルのサイズは96×96×96です。図 2 に示すように、複数のタスク固有の出力を備えた V-Net ネットワーク アーキテクチャを使用して、各歯のマスクを予測します。マルチタスク歯セグメンテーション ネットワークでは、エンコーダ部分の後に最大プーリング層と 3 つの完全に接続された層が続き、FDI 世界歯科連盟のシンボルに基づいて各入力歯パッチのカテゴリを識別することに注意してください。 トレーニング段階では、歯のセグメンテーションを監視するためにバイナリクロスエントロピー損失を採用し、3D オフセット、歯の境界、および歯の予測を監視するために別の L2 損失をそれぞれ採用します。 。 境界強化ニューラル ネットワークに基づく歯槽骨セグメンテーション フレームワークは、入力された 3 次元 CBCT 画像から中顔面と下顎骨を直接抽出することを目的としています。具体的には、図 2 に示すように、まず Harr 変換を使用して CBCT 画像を処理します。これにより、骨の境界付近の強度コントラストを大幅に高めることができます。次に、フィルタリングされた画像を元の CBCT 画像と組み合わせて、カスケード接続された V-Net に供給します。 GPU メモリの制限を考慮して、元の画像とフィルタリングされた画像の入力は、サイズ 256 × 256 × 256 のトリミングされたパッチです。ネットワークの出力は、入力パッチと同じサイズの 3 チャネル マスクで、各ボクセルがそれぞれ背景、顔面中骨、下顎骨に属する確率を表します。ネットワークをトレーニングするために、クロスエントロピー損失を使用して歯槽骨のセグメンテーションを監視します。推論時間中に、予測された骨と歯のマスクをマージするために後処理ステップが使用されることに注意してください。たとえば、ボクセルが骨と歯の両方であると予測された場合、骨と歯のセグメンテーション ネットワークによって予測された確率を比較し、より高い確率を持つラベルを最終予測として選択します。
トレーニングの詳細
PyTorch ライブラリに実装されたこのフレームワークは、Adam オプティマイザーを使用して損失関数を最小化し、バックプロパゲーションを通じてネットワーク パラメーターを最適化します。歯と歯槽骨のセグメンテーション ネットワークでは、学習率は 0.001、ミニバッチ サイズは 1 です。各トレーニング エポックの終了時に、検証データセットの損失を計算して、ネットワークの収束を判断します。検証データセット上のモデルのパフォーマンスが 5 エポック以内に変化がない場合、トレーニング プロセスは収束していると考えられ、停止してもよいと考えられます。すべてのディープ ニューラル ネットワークは、Nvidia Tesla V100 GPU を使用してトレーニングされます