문헌 검토 │ 이미지 설명 모델에 대한 적대적 예 공격

서문 : 이미지 설명 적대 공격은 일반 이미지 설명 모델을 공격하고 일반 입력 이미지에 섭동을 추가하여 적대적 샘플을 획득하여 일반 모델이 타겟 문장이나 타겟 키워드를 출력할 수 있도록 하는 것을 목표로 하며, 현재 관련 작업을 대략적으로 요약하면 다음과 같습니다. 이 리뷰는 원래 2022년 8월 29일에 작성되었습니다.

---

관련 작품 소개

Shekhar et al.은 [1]에서 이미지 설명 모델이 양식 간의 관계를 잘 포착하지 못한다는 점을 지적했으며, 저자는 MSCOCO 데이터 세트에 이미지 오류 설명을 추가하여 FOIL-COCO 데이터 세트를 구성하고 분류, 이상에 대해 설명하는 실험을 수행했습니다. 단어 탐지와 비정상 단어 정정의 세 가지 각도에서 도출하고, 이미지 설명 모델의 결함을 검증하여 이후의 이미지 설명 공격 개발의 기반을 마련했습니다. 본 논문에서는 다중 모드 양방향 LSTM(Bi-LSTM) 모델을 실험에 사용했습니다.

Chen et al.[2]은 머신 비전 인식 분야의 섭동에 대한 언어 모델의 견고성을 연구하기 위해 Show-and-Fool 방법을 제안했으며, 적대적 샘플을 구성하여 모델이 무작위로 선택된 설명이나 키워드를 생성하도록 오도합니다. 공격 모델은 Show-and-Tell 모델을 선택하고 방향 설명과 방향 키워드 장면에 대해 각각 적대적 샘플 이미지를 구성합니다.

소스 코드에 대한 자세한 내용은 https://github.com/huanzhang12/ImageCaptioningAttack 을 참조하세요.

Ji et al.[5]은 잔여 설명의 품질을 보장하면서 일반 이미지 설명에서 대상 단어를 제거하여 적대적 샘플을 구성했으며 설계된 손실 함수는 다음과 같습니다.

여기서, ${엘}_{나는}$타겟 단어의 발생 빈도가 충분히 낮은지 확인하세요. ${엘}_{참조}$잔류물 설명 품질 보장, ${엘}_{나는내가}$섭동을 추가한 후 생성된 설명으로 인해 원치 않는 시각적 노이즈가 발생하지 않는지 확인하세요. 대상 개체. 마지막 항은 적대적 사례의 시각적 품질을 보장하기 위해 생성된 교란 정도를 제어하는 ​​데 사용됩니다.

저자는 또한 잔여 설명이 원본 설명과 동일한 품질을 유지하면서 공격 성공률이 충분히 높도록 보장하는 공격 품질 평가 지표를 제안합니다. AR AR 은 다음과 같이 정의됩니다.$AR은$ BLEU, CIDEr 등의 평가 지표인$SR$ 은 공격 성공률이며, 생성된 설명에 대상 단어가 하나도 나오지 않는 경우에만 공격이 성공한 것으로 간주됩니다.

Zhang et al.[7]은 복소영역(아래 그림 참조)에서 손실 함수를 설계하고 워드 임베딩을 사용하여 교란을 추가하여 적대적 샘플을 생성했으며, 적대적 샘플에 해당하는 의미 벡터를 허수부로 사용했습니다. 손실함수는 원본 이미지에 해당하는 의미벡터를 손실함수로 사용하며, 의 실수부분을 설계한 손실함수는 다음과 같다.

여기서 ${엘}_{}$이 용어는 적대적인 예시가 원본 이미지와 최대한 유사하다는 것을 보장합니다. 본 논문에서는 단어 수준과 문장 수준에서 화이트박스 공격과 블랙박스 공격을 성공적으로 구현할 수 있는 Show-and-Tell 모델을 선택했으며, Show-and-Fool 방식보다 성능이 더 좋다. 2] 생성된 적대적 샘플의 이동을 검증한다.

Chen et al.은 또 다른 접근법을 취하여 [10]에서 처음으로 생성 효율을 공격 대상으로 제안하고, 가능한 한 긴 문장을 생성하고 생성 효율을 감소시키는 NLCGSlowDown 방법을 설계했습니다.

---

요약 및 전망

요약하면, 생성의 정확성과 관련성 측면에서 양식 간 의미 정보 정렬의 어려움으로 인해 교차 모드 생성 모델 생성의 효과를 보장하기 어렵습니다. 작업이 어려워집니다. 현장의 발전 효율성이 많은 주목을 받았습니다. 기존 작업은 주로 발전 상관관계와 발전 효율성이라는 두 가지 측면에서 수행됩니다. 현재 크로스 모달 모델에서 환각 생성 문제( 이 블로그 참조 ), 크로스 모달 모델의 텍스트 스테가노그래피 문제 등 멀티 모달 작업의 보안에 대한 연구도 진행되고 있습니다 .

추신: 개인 연구 방향의 변경으로 인해 이 분야의 관련 작업은 후속 조치가 이루어지지 않으며, 본 리뷰에 인용된 참고 문헌은 2022년까지만 업데이트됩니다.

---

참고자료

1. 라비 셰카르(Ravi Shekhar) 외. 포일하세요! 이미지와 언어 캡션 간의 불일치 중 하나를 찾으세요 . ACL, 2017.
2. Hongge Chenet al. 적대적인 예를 사용한 시각적 언어 기반 공격: 신경 이미지 캡션에 대한 사례 연구 , ACL, 2018.
3. Xiaojun, Xu, 그 외 여러분. 현지화 및 주의 메커니즘에도 불구하고 비전 및 언어 모델을 속이는 행위 , CVPR, 2018.
4. Yan, Xu, et al. 잠재 변수를 사용한 구조화된 출력 학습을 통한 이미지 캡션에 대한 정확한 적대적 공격 , CVPR, 2019.
5. Jiayi Ji, et al. 정확도 보존 대상 단어 제거를 위한 이미지 캡션 공격 , ACM MM, 2020.
6. Malhar Jereet al. 긁어! 신경망에 대한 진화 기반 적대적 공격 , arXiv, 2020.
7. Shaofeng Zhang 외. 상상력에 속다: 복잡한 도메인의 섭동을 통한 이미지 캡션에 대한 적대적 공격 , ICME, 2020.
8. Akshay Chaturvedi와 Utpal Garin. 모방과 바보: 작업에 구애받지 않는 적대적 공격 , TNNLS, 2021.
9. Nayyer Aafaq, et al. 적대적 공격을 통한 이미지에 대한 제어된 캡션 생성 , arXiv, 2021.
10. 시민 첸 외. NICGSlowDown: 신경 이미지 캡션 생성 모델의 효율성 견고성 평가 , CVPR, 2022.
11. Mirazul Haque 외. CorrGAN: 자연 부패에 대비한 입력 변환 기법 , CVPR 워크숍, 2022.
12. 한지 우(Hanjie Wu) 외. 이미지 캡션을 위한 전송 가능한 섭동 학습 , TOMCCAP, 2022.