改ざん及び生成された画像を検出するための一般的なアプローチ

概要

現在のデジタル画像フォレンジックアルゴリズムは、従来のまたは必要GANネットワーク構造の改ざん検出画像の先験的な知識に焦点を当てています。

この技術革新は、タンパー画像と同時に画像を検出するためのGANを生成する一般的な方法を提案しています。概要：
エッジ情報抽出画像の1 Scharr動作。
画像圧縮の画像情報を失うことなく、エッジ情報マトリクスGLCM（GLCM）2.変換は、分散型。
ニューラルネットワークに基づくGLCM分離可能な畳み込み深さの訓練を入力します。

結果：他のGANのためのモデルは、強力な汎化能力を有している他の方法と比較すると、F1スコア上のモデルは、0.98ポイントを獲得しました。

关键字：デジタル画像フォレンジック、生成的敵対ネットワーク、深い学習、畳み込み
ニューラルネットワーク

1.はじめに

デジタル画像フォレンジックは、アクティブとパッシブの法医学的証拠に分けます。

[7]、[27] - 最も受動フォレンジック方法において、画像特徴は、画像前処理で抽出し、次いで、SVM分類基準を使用している[5]。CNNの発展に伴い、CNNは、参考文献[8]、[15]を採用しています。

スプライシング、削除、およびコピー・移動が検出の主要な側面ですが、また、三の大態様は、本明細書で議論しました。

ネットワークGANの引用文献[2] - [4]、[16]、[17]、[26]、[28]。

欠陥は、従来のアルゴリズム、および改ざんネットワークGAN従来の画像及び乏しい汎化能力を検出することができません。

トレーニングデータセットは BigGAN画像を生成しています。

ペーパーコード：https://github.com/yuleung/image_forensics

記事の主な貢献：

-最初のモデルGAN生成された画像と画像改ざん画像の同時検出。
-ネットワークを検出し、GAN GANのための一般的な方法は、生成された画像をバリアント示唆しています。
-私たちは、従来の畳み込み、構造の少数のパラメータと比較し、分離畳み込み深度ネットワーク構造を提案します。

このセクションでは、画像の改ざんやガンズのネットワーク構造を説明しています。

A.デジタル画像の改ざん検出

参考文献[5]は容易に検出されたYCrCb色空間にスプライシングトレースを提案しています。
文献[7]の操縦可能なピラミッド変換（SPT）とローカルバイナリパターン（LBP）特徴抽出。
変換とテクスチャウェーブレット記述子のリファレンス[36]提案検出方法。（変換とウェーブレットテクスチャ記述子）
参考文献[6]、エッジ画像は、改ざん検出用の抽出静的分布から有限状態マルコフ連鎖としてモデル化し、低次元の特徴ベクトルです。（モデル有限状態マルコフ連鎖としてエッジ画像と改ざん検出をするため、その定常分布から低次元の特徴ベクトルを抽出します）
参考文献[8]は、拘束層畳み込み（コンボリューション拘束層）と呼ばれる新しい畳み込み層を提案した画像の内容を抑制し、適応的に改ざん検出機能を学習することができます。
参考文献[15] CNNモデル（SRM）リッチモデル空間に畳み込みカーネルの初期化の第一層に設けられた基本的なハイパスフィルタを使用することを提案しました。そして、特徴抽出のための畳み込みネットワークをSNN。
参考文献[10]は、タスクを検出するための2つの流高速R-CNNネットワークを提案しました。それらのモデルは、それらが、それぞれ、異なる特性を抽出するために訓練されている2つのサブネット、RGBストリーム即ちSRMノイズ現在のサブネットとサブネットからなります。最後に、検出するために、これらの機能を解析することにより、改ざん。
顔画像変形を適用検出する拡散残留ネットワーク変数（DRN-C-26）を使用して参照[29]。

IMAGE世代でB.ガンズ

GANネットワークモデルはPGGAN、SNGAN、BigGANs、StyleGAN、StackGAN、StackGANを持っています。

いくつかの検出GANネットワーク論文[11] - [13]、[31]、[32]、[35]

3. APPROACH

ネットワーク構造下に

：それは3つの部分に分かれ特徴抽出、分類、および画像スケーリング。

RGB色空間から画像をYCrCb色空間であり、その後、エッジ抽出オペレータScharr情報CrおよびCbの成分を使用します。
GLCM（GLCM）に変換し、異なる大きさの均一なマトリックスのためのマトリックスのエッジは、同じサイズを有します。
GLCMは、分類結果を得られるように設計されて私たちの深さの分離コンボリューションの深さに基づいてニューラルネットワークに供給されます。

A.特徴抽出

これは、Yは、輝度分類、CrおよびCbの色差成分であるRGBと同様YCrCb色空間です。
図1の最初の行には、RGB画像に改ざんの排除を改ざんしようとします。
図1の第1行4において、より明白（他の部分よりも滑らかなエッジ鳥スプライシング）を改ざんします
図3において、画像情報生成前景と背景GANの間にエッジが存在します。

将图片转换成YCrCb提取Cr和Cb色度分量。Y分量如图4所示，它主要包括内容细节，图像的内容细节将会覆盖篡改的边缘信息，所以，我不这里不使用Y分量。Cr和Cb不关注图像的细节，更加图像的边缘信息。能够提取篡改的关键信息，然后使用3×3的边缘检测算法，获取边缘信息。
scharr是soble的变体，更加注重边缘信息。公式如下

边缘信息的结果如图4所示。可以看出，篡改操作区域的边缘信息比Cr成分和Cb成分的边缘信息矩阵中的真实区域要平滑和明亮。

B. IMAGE SCALING

图像的纹理是通过重复出现在特定空间位置的灰度来形成的，灰度共生矩阵（GLCM）通过提取灰度空间相关性的特征来提取图像的纹理。 我们将图像边缘信息矩阵转换为GLCM的原因有两个：

在图像取证的实际应用中，图像的像素不确定。同时，基于CNN的分类器通常需要输入数据具有特定大小，并且图像的详细信息对于检测篡改操作特别重要。 GLCM的大小取决于图像中的最大灰度值。因此，GLCM可以将边缘信息矩阵调整为统一大小，而不会丢失图像细节。
根据GLCM的特征，边缘图像中与篡改区域相对应的平滑边缘和与未篡改区域相对应的粗糙边缘在GLCM中具有不同的表示形式。

经过Scharr算子滤波后得到的边缘信息矩阵的最大值可以达到4080，但是我们发现，由Scharr算子计算得到的图像的边缘信息矩阵的值大多在相对较小的范围内，如图6所示。我们可以选择合适的阈值来截断边缘信息矩阵的较大值，而对模型的性能影响很小，这可以减小转换后的GLCM的大小，从而最大程度地减少模型的复杂性。截断操作根据以下规则进行：

接下来，我们在四个方向（0°，45°，90°,135°）采用偏移距离为1对Cr和Cb的成分矩阵进行运算。最后，将它们连接在一起以获得大小矩阵T×T×8，作为深度神经网络的输入。

转换为GLCM的特定算法如下

C. CLASSIFICATION BASED ON DEPTHWISE SEPARABLE CONVOLUTION

我们设计了基于深度可分离卷积的深度神经网络，专门用于检测篡改图像和GAN生成的图像。网络结果如图

设计这样的网络结构的原因：

GLCM来自边缘信息矩阵中提取的，这导致存在大量的0，所以我们在第一层的卷积核设置为5×5，步长为4.
在将边缘信息矩阵转换为GLCM之后，边缘的特征将分散在整个GLCM中。因此，在网络体系结构的较深部分中，在获得较小的特征图之后，我们重复了几次卷积运算以完全提取图像特征。

4. EVALUATION

A. DATASET

CACIA 2.0
GPIR dataset
COVERAGE dataset
BigGANs dataset
LSUN Bedroom dataset (256×256)
PGGAN dataset
SNGAN dataset
StyleGAN dataset

B. EXPERIMENTAL DETAILS

框架:tensorflow
网络参数细节：ADAM optimizer is used to minimize the cross entropy loss with an initial learning rate of 0.0005, and decay of learning rate 0.85 every 600 steps, a minibatch size of 56, a batch normalization decay parameter of 0.95, and a weight decay(L2 regularization) parameter of 0.0001.
RGB转换为YCrCb原则

同时检测GAN网络和篡改图像的多分类问题使用Macro-F1评分来评估我们的模型

准确率衡量为

C. DETECTION PERFORMANCE

在CACIA2.0和BigGANs数据集上进行了实验，在测试边缘信息矩阵的时候使用了不同的阈值，不同颜色空间，不同深度神经网络用于分类的性能差异以及Sobel运算符和Scharr运算符之间的性能差异。

我们从7491个真实图像和5123个CASIA 2.0篡改图像中随机选择5123个图像，并从16,000个BigGANs数据集中的图像中随机选择5123个图像。然后，我们从每个类别中随机选择4123张图像，总共12369张图像作为训练集，从每个类别中剩余的1000张图像和总共3000张图像作为测试集。实验结果示于表1。

我们发现截断值T为192可获得最佳结果，截断值小于192导致性能降低，截断值大于192并没有带来更高的性能。另外，对于篡改图像和GAN生成的图像，我们发现在处理伪造图像检测的边缘检测任务时，我们的方法中使用的Scharr运算符具有比Sobel运算符更好的性能。与传统的卷积网络模型和其他经典的网络模型相比，基于深度可分离卷积的深度神经网络模型具有更好的分类性能。与其他颜色空间中的分量相比，YCrCb颜色空间中的Cr和Cb分量在伪图像检测任务中可以更好地执行特征提取。与[11]，[31]和XceptionNet中提出的方法相比，我们的方法具有更好的性能。

同时，可以注意到，在某些特定条件下，我们的模型达到了很高的精度和召回率（甚至达到100％）。并且使用不同的参数，我们的模型都能很好地检测BigGAN生成的图像。因此，有了这些结果，我们可以有把握地得出结论，我们的模型可以很好地提取GAN生成的图像的特征。

与其他专门设计用于检测篡改的方法相比，我们的通用模型在检测篡改图像方面也具有良好的性能。实验结果示于表2。

在表1的最佳组合中，如果根据规则（9）计算准确性，则仅考虑真实图像和篡改图像，而忽略GAN生成的图像，我们的模型在BigGANs数据集和CASIA2上的检测精度得到了训练。 0数据集是97.95％。如果像[15]，[27]和[6]一样仅在CASIA2.0数据集上训练模型，则检测精度为99.25％，[15]，[27]和[6]中报告的准确性分别为97.83％，97.50％和95.60％。此外，如果我们的模型在CASIA1.0数据集上进行了训练和测试，则可以将CASIA1.0数据集视为CASIA2.0数据集的简化版本，检测精度可以达到100％，并且在[15]，[ 27]和[36]分别为98.04％，97.00％和96.81％。因此，与以前的工作相比，我们的方法在检测篡改图像方面效果很好。

D. GENERALIZABILITY

1) Generalizability on Tampered images

我们在COVERAGE数据集和GIRP数据集中测试了模型的可泛化性。具体来说，我们首先分别对两个数据集评估我们的方法，然后对两个数据集执行交叉评估（一个数据集作为训练，另一个作为测试）。由于COVERAGE数据集和GPIR数据集的样本有限，因此它们太小而无法重新训练我们的深度神经网络。我们使用了从COVERAGE篡改图像或GPIR篡改图像中随机选择的50％图像来微调原始训练模型，其余50％图像和另一个数据集进行测试。

我们仅以0.0001的学习速率和8的最小批量大小执行了150步的参数更新操作。实验结果如表3所示。

实验表明，我们的模型可以快速且轻松转移到其他小型新颖篡改数据集。

2) Generalizability on GANs Generalized Images

様々なGAN一般的なモデルの検出のための私達の方法。私たちは、GANモデルが良好な画像我々のモデルのパフォーマンスをテストするために生成された品質、およびルール（9）を使用して、計算の精度を持っていました。我々は汎化性能を使用してモデルを評価するために使用されることに注意してくださいは、表1の実験ではCrとCbのコンポーネントでください、Scharr演算子は、Tカットオフは、分離可能な畳み込みモデルのトレーニング、および、データBigGANsの深さ、192でありますセットとデータセットCASIA 2.0。結果を表4に示します。

実験は、我々のモデルは、強力な汎化能力を持って、生成された画像GANを検出できることを示しています。これは、共通してその固有の形質に様々なGANイメージによって生成されたモデル、そして我々のモデルはまた、これらの特性を非常によく理解されていることを意味驚くべき発見、です。

V.結論

本稿では、一般的なモデルが改ざん画像やGAN生成された画像を検出することができます提案します。まず、我々は、RGB画像をYCrCb色空間として検出される変換、および画像エッジCr成分及びCb成分を抽出します。前記画像エッジ次に、我々は、画像のスケーリングは、画像情報が調整された場合に失われないように、GLCMを変換します。最後に、我々はニューラルネットワークの深さに分離畳み込み深さの設計に基づいたトレーニングおよび検出のための入力をGLCMます。我々は、エッジ特徴抽出法及びニューラルネットワークは、深さイメージ改ざん及びGaNが高い画像、0.9865としてF1平均肉眼的スコアを画像生成を認識することができるように設計しました。また、前作に比べて、我々のモデルのみ改ざん検出用画像も良好なパフォーマンスをしました。また、我々のモデルが同時にゼロから生成された異なるGANモデルの高精度の画像を検出することができ、我々は理由がGAN-生成された画像は、オブジェクトのエッジ、およびこのマークの我々のモデルをよく理解上のマークを残すだろうと思います。