前に書いた言葉
最近は休校で寮も閉鎖中 寮のネットワークが良くなくてリモートで実験ができない CenterNetのソースコードの解釈を書きます 論文を書いたときの残りの作業、 尊敬！
この記事は主に、CenterNet で Gaussian カーネルを生成するコードの一部を分析することを目的としています. 具体的な原理については詳しく説明しませんが、この記事ではわかりやすい視覚的なコードを追加します.デバッグすると理解できます作者の意訳ですが、読者の参考になれば幸いです。
ビジュアル コードのダウンロード リンク: https://download.csdn.net/download/weixin_42899627/87157112
Centernet ソース コードの場所
この記事のコア コードは、CenterNet/src/lib/utils/image.pyにあります。
2 次元ガウス関数の式
CenterNet ソース コードの 2 次元ガウス関数は、次のように実装されています。
ヒント:比較式に欠けているものがありますが、ガウス関数の特性には影響しません. ここで重要なのは、ガウス カーネル半径の計算を見ることです。
def gaussian2D(shape, sigma=1):
m, n = [(ss - 1.) / 2. for ss in shape]
y, x = np.ogrid[-m:m + 1, -n:n + 1]#np.orgin 生成二维网格坐标
h = np.exp(-(x * x + y * y) / (2 * sigma * sigma))
h[h < np.finfo(h.dtype).eps * h.max()] = 0 #np.finfo()常用于生成一定格式，数值较小的偏置项eps，以避免分母或对数变量为零
return h
ガウス カーネル半径の計算
コードの観点からは、1 つの変数で二次方程式の根を見つけるための式です。
ここで、コードでのガウス半径の計算はフレームのコーナー ポイントに基づいていることに注意してください。一方、Centernet では、フレームの中心点のガウス半径を計算する必要があります。実際には、理由は同じ. センターネット フレームのコーナー ポイントのオフセットは、ボックス センター ポイントのオフセットで概算できます。
ケース 1: 両方の角が真理箱の内側にある
ケース 2: 両方の角が真理箱の外側にある
ケース 3: 一方の角が真理箱の内側にあり、もう一方の角が真理箱の外側にある
参考記事：
CornerNet ガウス半径 ガウス半径の決定 - 数式詳細
説明ポイント GTヒートマップ内のコーナーネット/センターネットコード ガウス散乱カーネルの適用方法
def gaussian_radius(det_size, min_overlap=0.7):
height, width = det_size
a1 = 1
b1 = (height + width)
c1 = width * height * (1 - min_overlap) / (1 + min_overlap)
sq1 = np.sqrt(b1 ** 2 - 4 * a1 * c1)
r1 = (b1 + sq1) / 2
a2 = 4
b2 = 2 * (height + width)
c2 = (1 - min_overlap) * width * height
sq2 = np.sqrt(b2 ** 2 - 4 * a2 * c2)
r2 = (b2 + sq2) / 2
a3 = 4 * min_overlap
b3 = -2 * min_overlap * (height + width)
c3 = (min_overlap - 1) * width * height
sq3 = np.sqrt(b3 ** 2 - 4 * a3 * c3)
r3 = (b3 + sq3) / 2
return min(r1, r2, r3)
CenterNet ソース コードの draw_umich_gaussian 関数は、次のように実装されています。
ヒント:主に生成された 2 次元ガウス カーネル (ターゲット フレーム サイズ) を元の画像 (画像サイズ) の対応する位置に配置するための特別な操作はありません。
def draw_umich_gaussian(heatmap, center, radius, k=1):
diameter = 2 * radius + 1
gaussian = gaussian2D((diameter, diameter), sigma=diameter / 6)
x, y = int(center[0]), int(center[1])
height, width = heatmap.shape[0:2]
left, right = min(x, radius), min(width - x, radius + 1)
top, bottom = min(y, radius), min(height - y, radius + 1)
masked_heatmap = heatmap[y - top:y + bottom, x - left:x + right]
masked_gaussian = gaussian[radius - top:radius + bottom, radius - left:radius + right]
if min(masked_gaussian.shape) > 0 and min(masked_heatmap.shape) > 0: # TODO debug
np.maximum(masked_heatmap, masked_gaussian * k, out=masked_heatmap)#逐个元素比较大小，保留大的值
return heatmap
import numpy as np
import math
import xml.etree.ElementTree as ET
import glob
from image import draw_dense_reg, draw_msra_gaussian, draw_umich_gaussian
from image import get_affine_transform, affine_transform, gaussian_radius
data_dir = r"*.jpg"
a_file = glob.glob(data_dir)[0]
print(a_file, a_file.replace(".jpg", ".xml"))
tree = ET.parse(a_file.replace(".jpg", ".xml"))
root = tree.getroot()
size = root.find('size')
width = int(size.find('width').text)
height = int(size.find('height').text)
print(f"原图宽：{
width} 高：{
height}")
num_classes = 3
output_h = height
output_w = width
hm = np.zeros((num_classes, output_h, output_w), dtype=np.float32)
anns = []
for obj in root.iter('object'):
bbox = obj.find('bndbox')
cate = obj.find('name').text
# print(cate, bbox.find("xmin").text, bbox.find("xmax").text,
# bbox.find("ymin").text, bbox.find("ymax").text)
xyxy = [int(bbox.find("xmin").text), int(bbox.find("ymin").text),
int(bbox.find("xmax").text),int(bbox.find("ymax").text)]
anns.append({
"bbox" : xyxy,'category_id':int(cate)})
num_objs = len(anns)
flipped = False #是否经过全图翻转
import matplotlib.pyplot as plt
plt.figure(figsize=(19, 6))
plt.ion()
plt.subplot(131)
img = plt.imread(a_file)
plt.title('Origin_img')
plt.imshow(img)
for k in range(num_objs):
ann = anns[k]
bbox = ann['bbox']
cls_id = ann['category_id']
if flipped:
bbox[[0, 2]] = width - bbox[[2, 0]] - 1
# bbox[:2] = affine_transform(bbox[:2], trans_output)# 仿射变换
# bbox[2:] = affine_transform(bbox[2:], trans_output)
# bbox[[0, 2]] = np.clip(bbox[[0, 2]], 0, output_w - 1)#裁剪
# bbox[[1, 3]] = np.clip(bbox[[1, 3]], 0, output_h - 1)
h, w = bbox[3] - bbox[1], bbox[2] - bbox[0]
if h > 0 and w > 0:
radius = gaussian_radius((math.ceil(h), math.ceil(w)))
radius = max(0, int(radius))
# radius = self.opt.hm_gauss if self.opt.mse_loss else radius
ct = np.array(
[(bbox[0] + bbox[2]) / 2, (bbox[1] + bbox[3]) / 2], dtype=np.float32)
ct_int = ct.astype(np.int32)
plt.subplot(133)
hm_out, gaussian = draw_umich_gaussian(hm[cls_id], ct_int, radius)
plt.title('Umich Heatmap')
# hm_out = draw_msra_gaussian(hm[cls_id], ct_int, radius)
# print(hm_out.shape)
# plt.title("Mara Heatmap")
plt.text(ct[0], ct[1], f"(class:{
cls_id})", c='white')
plt.plot([bbox[0], bbox[2], bbox[2], bbox[0], bbox[0]], [bbox[1], bbox[1], bbox[3], bbox[3], bbox[1]])
plt.imshow(hm_out)
plt.subplot(132)
plt.title(f'Gaussian: bbox_h={
h},bbox_w={
w}, radius={
radius}')
plt.imshow(gaussian)
plt.pause(2)
参考記事
1. np.ogrid と np.mgrid の使用法
2. 1 次元および 2 次元のガウス関数とその 1 次および 2 次導関数