Una función de pérdida generalizada para notas de lectura de localización y conteo de multitudes

En pocas palabras, la UOT se utiliza para resolver el problema del conteo de multitudes.

Código: https://github.com/jia-wan/GeneralizedLoss-Counting-Pytorch.git
Lo cambié un poco: https://github.com/Nightmare4214/GeneralizedLoss-Counting-Pytorch.git

pérdida

Mapa de densidad: $\mathcal{A} =\left\{\left(a_i, \mathbf{x}_i\right)\right\}_{i=1 }^{n}$
dentro $a_i$ Para predecir la densidad, $\mathbf{x}_i\in\mathbb{R}^n$ es la coordenada, $n$ es el número de píxeles
, sea $\mathbf{a} = \left[a_i\right]_i$ , es decir, el mapa de densidad se convierte en un vector de columna

El diagrama de puntos reales es $\mathcal{B}=\left\{\left(b_j,\mathbb{y}_j\right)\right\}_{j= 1 }^m$
donde $\mathbf{y}_j$ es la coordenada, $m$ es el número de puntos etiquetados, $b_j$ Para el número de personas representadas por este punto,
este artículo supone que $\mathbf{b}=\left[b_j\right]_j = \mathbf{1}_m$ , es decir, solo hay una persona en cada punto

Propiedades de la UOT
$\mathcal{L}_{\mathbf{C}}^{\tau}\left(\mathcal{A},\mathcal{B}\right) = \min_{\mathbf{P} \in \mathbb{R}_+^{n\times m}} \left\angle \mathbf{C},\mathbf{P}\right\rangle -\epsilon H\left(\mathbf{P}\right ) + \tau D_1\left(\mathbf{P}\mathbf{1}_m|\mathbf{a}\right) +\tau D_2\left(\mathbf{P}^T\mathbf{1}_n|\ mathbf{ brillante)$
其中 $\mathbf{C}\in\mathbb{R}_+^{n\times m}$ es la matriz de costos de transmisión, $C_{i,j}$ Para cambiar la densidad de $\mathbf{x}_i$ Mover a $\mathbf{y}_j$ La distancia
$\mathbf{P}$ 的电影电影最好
令 $\hat{\mathbf{a}} = \mathbf{P}\mathbf{1}_m, \hat{\mathbf{b} }= \mathbf{P}^T\mathbf{1}_n$

Esta pérdida tiene 4 partes.
La primera parte es la pérdida de transmisión, que tiene como objetivo acercar el mapa de densidad predicho a la etiqueta real. La
segunda parte es la entropía $\left(\mathbf{P}\right) = -\sum_{i,j}P_{i,j}\log P_{i,j}$ Es el término de regularización de entropía, que se utiliza para controlar el grado de escasez, cuanto más grande es, más escasa es (tenderá a distribuirse uniformemente) y viceversa.

La tercera parte es esperanza $\hat{\mathbf{a}}$ cerca $\mathbf{a}$
es esperanza $\hat{\mathbf{b}}$ cerca de $\mathbf{b}$

En el periódico, $D_1$ Toma $L_2$ El cuadrado de
$D_2$ Toma $L_1$

matriz de costos

$C_{i,j} = e^{\frac{1}{\eta\left(x_i,y_j\right)}\|\ mathbf{x}_i-\mathbf{y}_j\|_2}$
Dados los valores xi $\mathbf{x}_i,\mathbf{y}_j$ Está normalizado
, pero tenga en cuenta que $\eta\left(x_i,y_j\right) en el código$ es una constante, el valor predeterminado es $0,6$

Resolver

Usando el silbato
$\mathbf{P}=\operatorname{diag}(\mathbf{u}) \mathbf{K } \operatorname{diag}(\mathbf{v}), \quad \mathbf{K}=\exp (-\mathbf{C} / \varepsilon)$
aquí se aproxima a $D_1,D_2$ Para la función KL, el equivalente de la función suave
$\mathbf{u}^{(\ell+1)}=\left(\frac{\ballsymbol{a}}{\mathbf{K}\mathbf{v}^{(\ell)}}\ derecha)^{\frac{\tau}{\tau+\epsilon}}, \quad \mathbf{v}^{(\ell+1)}=\left(\frac{\ballsymbol{b}}{\mathbf {K}^{\top}\mathbf{u}^{(\ell+1)}}\right)^{\frac{\tau}{\tau+\epsilon}}$

(De hecho, incluso si es $Divergencia K L$ , otros códigos no parecen escribirse así)

código

conjunto de datos

preprocesamiento

UCF-QNRF usado

Preprocesamiento:
1. Sea $h,$ El más pequeño en $w$ $\left[512,2048\right]$ rango, y el otro se ajusta de acuerdo con la relación de escala
2. Filtrar puntos que no están en la imagen
3. Cálculo adicional de una distancia de cada punto a otros puntos, específicamente
$\mathbf{P} = \begin{pmatrix} \mathbf{p}_1^T\\ \mathbf{p}_2^T\\ \vdots\\ \mathbf{p}_m^T \end{pmatrix },\quad \mathbf{p}_i\in\mathbb{R}^2$
$\mathbf{dis} = \left[\|\mathbf{p}_i-\mathbf{p}_j\|\right]_{i,j}$

Finalmente, realice el proceso de selección de centinelas en clasificación rápida para cada fila y encuentre el tercer
par (contando desde 0) de $1, 2,$ Promedio de 3 elementos (contando desde 0 $)$

def find_dis(point):
    a = point[:, None, :]
    b = point[None, ...]
    dis = np.linalg.norm(a - b, ord=2, axis=-1)  # dis_{i,j} = ||p_i - p_j||
    # mean(4th_min, 2 of the [1st_min, 2nd_min, 3rd_min])
    dis = np.mean(np.partition(dis, 3, axis=1)[:, 1:4], axis=1, keepdims=True)
    
    return dis

因此得到的标签为
$\mathbf{P}=\left[\left(x_i,y_i,dis_i\right)\right]_i\in\mathbb {R}^{m\veces 3}$

leer datos

Recorta aleatoriamente la imagen a $\left(512,512\right)$
设 $yo, j$ es la coordenada de la esquina superior izquierda del recorte, $h = w = 512$

Luego lea la etiqueta
según $d i s$ para establecer un rectángulo pequeño.
Calcula el área de este rectángulo en el rango de recorte y $\frac{1}{4}$
Si esta proporción es mayor que 0,3, seleccione este punto; de lo contrario, deséchelo
Insertar descripción de la imagen aquí
y luego los demás se voltean horizontalmente al azar.

Modelo

vgg19+muestreo ascendente+dos capas de convolución+abs

tren

Tenga en cuenta que el fregadero aquí tiene $\epsilon-\text{heurística de escala}$ puede lograr la convergencia en 20 rondas.
también se utiliza $\text{dominio de registro}$

resultado

Insertar descripción de la imagen aquí

Los resultados del modelo proporcionado por el autor: mae 85.09911092883813, mse 150.88815648865386
Los resultados que ejecuté en UCF-QNRF: mae:85.69232401590861, mse:155.30853159819492