序文

大規模なモデルが一般的ですが、実際に実装する場合は、ハードウェアと動作電力の消費を考慮する必要があるため、企業は「小規模な」モデルを展開することを好みます。したがって、いくつかの蒸留技術を学ぶことは、一部のアルゴリズムエンジニアにとって必要なスキルポイントになっています.

_

MGD

論文:マスク生成蒸留
コード: https://github.com/yzd-v/MGD

距離

より強力な教師コードからの知識の抽出: https://github.com/hunto/DIST_KD

疑似コード

import torch.nn as nn

def cosine_similarity(a, b, eps=1e-8):
	return (a * b).sum(1) / (a.norm(dim=1) * b.norm(dim=1) + eps)

def pearson_correlation(a, b, eps=1e-8):
	return cosine_similarity(a - a.mean(1).unsqueeze(1), b - b.mean(1).unsqueeze(1), eps)

def inter_class_relation(y_s, y_t):
	return 1 - pearson_correlation(y_s, y_t).mean()

def intra_class_relation(y_s, y_t):
	return inter_class_relation(y_s.transpose(0, 1), y_t.transpose(0, 1))

class DIST(nn.Module):
	def __init__(self, beta, gamma):
		super(DIST, self).__init__()
		self.beta = beta
		self.gamma = gamma

	def forward(self, z_s, z_t):
		y_s = z_s.softmax(dim=1)
		y_t = z_t.softmax(dim=1)
		inter_loss = inter_class_relation(y_s, y_t)
		intra_loss = intra_class_relation(y_s, y_t)
		kd_loss = self.beta * inter_loss + self.gamma * intra_loss
		return kd_loss