부자, N., Mancas, M., Duvinage, M., Mibulumukini, M., Gosselin의, B., 뒤 투아, T. (2013). RARE2012 : 비교의 통계적 분석과 멀티 - 스케일 현출 희귀 기반 탐지. 신호 처리 : 영상 통신 , 28 (6), 642-658. https://doi.org/10.1016/j.image.2013.03.009
오래 전, 훨씬 이전 글이 오늘은 특별히 내가 다음 읽기의 방법을 사용하여 문서를 참조하십시오.
시각적주의에 대한 메커니즘 이 일을 우린 관심, 그리고 그것으로 유용하기 때문이다. 예를 들어, 도움말 최적화 사용자가 상호 작용하는 더 편안 버튼을 사용할 수 있도록 인간 - 기계 인터페이스, 이미지 정보를 보존에 관심이 집중 비디오 이미지 데이터 압축, 광고 디자인 평가. 로봇 시각적 인식하고 그렇게합니다.
인간의 시각주의의 일반적인 정의에, 나는이 문서가 더 강하가 없다 게시 된 시간, 어쨌든,가는 방법을 이해하기 위해 생물학에 대한 연구 결과가없는 모른다. 그러나 일반적으로 말해서, 인간의 관심이 들어오는 자극과 선택적주의의 우선 순위를 정의 할 수있는 자연적인 능력의 일부 . OK, 예비 정의는 괜찮있다. 너희 그것에 시선을 수행하는 것이, 뇌 영상 신호 그 방법이 단지 정렬 신호 서열이 아닌 수신한다.
컴퓨터 비전에서,주의 집중 메커니즘의 대부분의 탐험은, 개념의 "돌출이 매핑"문자 그대로 의미에 따라 달라집니다 "돌출 맵을." 간단히 말해, 입력 신호가 어떤 하나 개의 모델이 만들어 매핑의 매핑 결과는 모델이 따라 강한 신호를 얻기 위해 더 중요 할 것입니다 "돌출는 매핑".
그래서 시선기구에 관한 들어, 입력 화상은, 장소가 중요 신호에 인간의 눈은 끌린다. 그래서, 단지 더 나은 "돌출 맵"을 찾으려면, 시각적 인 관심의 메커니즘을 설명한다. 그것은 신속하게 우리에게 입력 이미지를 말해야한다, 우리의 시각 인식 시스템에서 그 장소는 매우 매력적이다.
두 가지 메커니즘을 포함에 생각이 라인에 따르면, "돌출는 매핑". 하나는 자극 중심 또는 외부주의로 알려진 상향식 (bottom-up) 관심이다. 특정 지식 (작업 뷰어를 통합 또한 작업 중심의 내생 또는주의로 알려진 또 다른 하향식 (top-down)는, 특별한 경우, 장면 모델 유형에있을 수 있으며, 같은 객체를 식별 할 수 있습니다 ). RARE2012 순수 상향식 (bottom-up), 상향식 방법의 더 나은 성능 때문이다. 입력 이미지 정보에 전적으로 의존, 당신은 다른 의사 결정을위한 메커니즘 물론, 더 나은 성능의 매운을 고려해야 할 필요가 없습니다.
이 기사는 그들의 접근 방식은 매우 좋은 결론에 올해에게 인기있는 몇 가지 방법을 비교합니다. 하 하 하
그들의 방법 :
-------------------------------------------------- -----------------------------------------
첫 번째 단계 알고리즘 :
첫 번째 단계 : 첫번째 방법 PCA, 주성분 분석, 이미지는 3 채널 RGB 세 개의 선형 적으로 독립된 공간으로 매핑된다. 세 개의 채널로 분할되며,이 세 개의 채널, channal1 주로 휘도 정보 및 channal3 channal2 함유 색도 정보를 포함한다. 그러나 정보의 세 채널은 독립적이다. 그것은 작은 세 개의 채널 음 HSV과 같은 HSV는 밝기, 색조 및 채도이다. 하지만 오, 소스에 따라 특정 분해를 모르는 것을, 기사는 말을하지 않았다.
두번째 단계 : 직접 세 채널의 이미지 PCA 희귀 계산. 이봐, 여기에 여전히 소스 코드를보고있다, 이미지 차원 주성분 분석은 내가 PCA 방법을 사용하여 상단 분할 채널이 편집기 않는 것을 이해할 수 아래로 얻으려면? 아니 그래서 그것을 세 가지 희귀 분포를 무슨 상관. 추출 된 이미지에 이렇게 낮은 색 특징 물론, 휘도 분포 특성을 포함한다.
세 번째 단계 : 방향하고 가버 필터를 이용하여도 채널 영상에서 상기 세 가지 특징을 추출. 가버 필터는 뇌의 프로세스 단순 시각 피질 신경 (V1)과 유사한 때문에 가버 선택된다.
가보는 다음과 같이 정의된다 :
단순한 셀 시각 자극에 응답 가버 인간 시각 시스템은 매우 유사하다. 이는 국부 공간 및 주파수 영역 정보 추출 목적의 관점에서 양호한 특성을 갖는다. 가버, 에지 화상에 민감 좋은 지향성 선택 및 크기의 선택과 둔감 조명 변화를 제공 할 웨이블릿는, 조도 변화 적응을 제공 할 수있다.
해당 기술 할 수있다, 따라서, 공간 및 주파수 도메인 지역화하면서 D 가버 필터는 최적의 특성을 얻기 가진 가버 함수에 의해 형성되는 공간 주파수 (스케일), 공간적 위치 및 방위 선택적 로컬 구성 정보 . 가보는 이미지 추출하기 위해 사용되는 공간 방향 및 질감 특성 .
입력 화상에 관한 각 입력에 대한 가보 8 개 방향의 기사, 따라서 8 개 개의 결과가 될 것이다. 여덟개의 출력은 출력 이미지로 통합된다.
출력 서로 다른 방향의 융합에 같은 각도 :
8 개 개의 서로 다른 패턴을 계산 효율 계수에 대한 방정식 (2)에 따르면
도의 정렬 EC의 크기에서 8 개 방향. 각 패턴은 가중치를 곱하여 I / N. N = 8,이 패턴은 EC의 장소가된다. 종이 작은 EC 패턴의 필터링, 임계 값 설정 :
T = 0.3보다 적절한 값으로 간주 저자이다.
도 8은 후 방향 융합 :
따라서, PCA 방법 channal1 세 가지 이미지가 얻어 channal2 channal3도의 세 가버 희귀 결 방향으로 추출 하였다.
-------------------------------------------------- -----------------------------------------
두 번째 단계 :
이 단계의 희귀 메커니즘은 결국,이 물건의 이름, 키 rare2012입니다.
상기 방법은 : 통계적인 주파수 스케일의 화소 나타날 세트.
Fig. 2中给出了一个例子，输入左图，蓝色的区域在整幅图像中出现的概率较低，那么它在稀有度图中的值就偏高。
第二阶段中，对第一阶段得到的6张map计算attention。
-------------------------------------------------------------------------------------------
第三阶段：
对第二阶段得到的6张attention map进行融合操作。
首先是通道内融合，由channal1得到的颜色特征图和纹理方向图计算attention后，进行融合。融合方法为：
就是EC和map点乘。这里出现了S哦，不过它是不是公式5中的S呢，这个要看下源码，论文中没说。N=2，为啥是2，哪里来的两张图，也不明白。
先不管这些地方，看最后，rare2012是如何得到最终的输出的：
根据第三阶段的融合操作，三个通道的图像最后输出了三个结果。
这三个结果再融合起来，就是最后的输出了。融合的方法就是第一阶段的第三步，融合gabor后的8张图像的方法。首先计算效率系数，然后排序，然后乘权重，阈值筛选。
rare2012是由rare2007和rare2011发展而来，每一次改进都带来的一些创新。性能更好，考虑的特征更全面。俺么rare2012结果如何？
对比结果中，上面是眼动监测的结果，也就是人眼实际的聚焦情况。下面是rare2012的结果。看起来挺好的嘛。
但是rare2012有时也有完全出错的时候。fig7中后面三个数据的结果，rare2012都错了。看来注意力机制还是要引入充分合理的自上而下的逻辑判断。
不过rare2012在当年对比同类模型，还是相当有优势的。当然论文中有定量的性能和准确率分析。
