标题：PointRend：レンダリングなどの画像セグメンテーション
リンク：のhttp：//arxiv.org/abs/1912.08193
概要
タイトルとレンダリングからの接触感が、その実装および関連技術にもかかわらずと何のつながりをレンダリングしません。解決すべき用紙は、画像セグメンテーションは、境界での物体のセグメンテーションの品質不良であることが多い細部に細心の分割できない、画像セグメンテーションの品質です。したがって、著者らは、予測されたターゲットプロファイルを改善するためのモデルを提案する：PointRendは、彼らのアイデアは、選択された領域の点から予測絞り込み分割ターゲットプロファイルに反復的な方法である、分割ターゲットプロファイルの品質を向上させるように。適切なモデルが提案セグメンテーション及びセマンティックセグメンテーションの例には、明らかにターゲットプロファイルを予測するだけでなく、対応する分割の精度を向上させることができます。図は、高解像度の予測対象境界の少量が存在し得る点まで、バイリニアサンプリング領域を平滑化する各工程に続きます。
そのような規則の特徴の画像または予測画素グリッドを作るには、必然的にアンダーサンプリング平滑領域、物体の輪郭をオーバーサンプリングします。個人は、元の低解像度機能に試料のサイズが予測されるときに、より滑らかな領域でよく予測結果を用いて、平滑化画素プロファイルエッジの少ない画素領域が理解、予測されたターゲット・プロファイルは非常にありません細かいです。
方法
PointRendモジュールは、3つの部分が含まれます（1）点の選択戦略（戦略と異なる予測トレーニング時間）、高解像度予測における選択されたカテゴリの点の少量;（2）前記選択された各点表現。（3）ポイントヘッド。予測は、各ポイント機能のクラスラベルを表し、
まず、各点の特徴表現。各接合点によって表される特徴として二つの異なる機能（細粒と粗予測特性）。個人は、これらの点は、粗予測を与えるように選択されることが理解され、図のように、図面中のきめ細かい機能にマッピング。前記図元のサイズは、微細粒状である、きめ細かい各ポイントマップについて得られた対応点の双線形補間を用いて特徴付け、抽出された特徴は、マルチチャネルの単一の点であるオブジェクトの特徴きめ細かい細部を有しています。例えば粗いセグメンテーション予測機能は、予測により得られたRoIの特性をマスク補間Kクラスから抽出されます。粗予測機能は、意味クラスの表現ながら、追加のコンテキスト情報を提供します。最後に、スプライスは、各特徴の最終点を表します。
然后是Point Head。给定每个点的特征表示，采用MLP进行分割预测，预测点的类别标签。
最后看选择策略。如下图所示，预测阶段每一次迭代选择N个最不确定的点（比如置信度接近0.5的点）计算特征表示，然后预测标签。
训练阶段的策略与预测阶段不同，如下图所示。有三个原则：（1）生成更多的点：以均匀分布取kN个点(k>1)。（2）关注于那些不确定的粗预测点，通过对kN个点进行插值并计算了一个针对特定任务的不确定性估计，然后选择最不确定的$\beta$N个点（3）剩下的$1-\beta$个点从均匀分布中选取。这种策略更偏重于那些不确定的区域，也就是物体轮廓。
实例分割实验
**粗预测head **改变了Mask R-CNN的Mask head。首先从FPN的P2层通过双线性插值的方法提取$14\times14$RoI特征，接着是$2\times 2$的卷积输出尺寸$7\times7$，最后两个1024隐含层生成$7\times7$的K个类别的Mask粗预测。
PointRend 拼接两部分特征：一个是从上述Mask粗预测特征插值提取的K维特征向量；另一个是从FPN的P2层插值提取的256维特征向量。使用3层隐含层进行预测，每一层又加上K维的粗预测特征作为补充。
训练阶段在粗预测特征中，根据各个点插值后的类别概率到0.5的距离进行选择，距离越小越不确定。损失是针对所有点的二值交叉熵之和。另外，训练阶段box和mask分支并行，预测时候串行，还发现训练时的串行不能提高性能。
预测阶段对$7\times7$的预测细化5次至$224\times224$。选择点的策略根据各点预测值与0.5的差绝对值。
语义分割实验
意味論的特徴および特性に対応する実質的に同様のインスタンス、きめ細かいと粗い予測機能を分割SematicFPN DeepLabV3および実装の詳細を行う実験に骨格から生じます。最高と第二の信頼信頼の間に補間点を選択：位相予測の不確実性の推定使用、同じ戦略を訓練し、いくつかの詳細は、N = 8096と異なるがあります。
