HarmonyHu 多思不如养志,多言不如守静,多才不如蓄德

Deformable Conv

2021-02-10
AI

可变卷积

相关论文:CenterNet: Keypoint Triplets for Object Detection

相关代码:Deformable-ConvNets

与通常的卷积相比,kernel存在offset(偏移)和mask(权重)。

如图中所示,通过卷积计算结果2/3作为offset,1/3用sigmoid得到mask。模型结构类似如下:

注:sigmoid是[0,1]的范围,通用用于表示权重,像lstm网络中的遗忘门。

运算过程大致如下:

offset运算

offset表示kernel实际运算的位置的h和w的偏移,是浮点数。偏移后的位置,是4个点的中间某个位置,通过双线性插值计算该位置的取值。计算方法如下:

v = (v1 * hw * hh) + (v2 * lw * hh) + (v3 * hw * lh) + (v4 * lw * lh)

简单说就是根据该点与相邻4个点的距离的比重取值,距离越近占比越高。

运算完后再乘以权重,取最终值:

v = v * mask


Similar Posts

下一篇 统计距离

Content