Welcome to HarmonyHu's Blog!
个人学习记录-
BERT
概述
BERT: Bidirectional Encoder Representation from Transformers，对应论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，对应github代码github-bert。
BERT分为 两个阶段：
Pre-training：利用无标记语料预训练模型Fine-tuning: 使用预训练的模型，对已经标记的语料根据实际的任务进行训练
-
Transformer
-
统计距离
-
Deformable Conv
可变卷积
相关论文：CenterNet: Keypoint Triplets for Object Detection
相关代码：Deformable-ConvNets
与通常的卷积相比，kernel存在offset（偏移）和mask（权重）。
-
浮点型存储格式
FP32
float共32bit：1bit符号位，8bit指数位，23bit底数位。如下表示：
S E8 M23浮点与二进制转换公式如下： \(Y = (-1)^{s} \times m \times 2^{e}，其中m = 1.M23，e = E8 - 127\)以浮点数12.5，举例说明：
\[12.5 \\ => 1100.1 \\ => 1.1001 \times 2^{3} \\ => E8 = 3 + 127 = 130 = 1000 0010 \\ M23= 1001 0000 0000 0000 000 \\ => 0 1000 0010 1001 0000 0000 0000 000\]
-
RNN/LSTM/GRU
RNN
RNN：Recurrent Neural Networks，循环神经网络，能够应用于空间或时间先后相关的场景，比如文字解析、语音识别。
RNN模型结构简单描述，如下图：
其中X0、X1、……、Xt，可以理解成多个输入，或者对单个输入拆分成的多个输入，比如一张图片的多个字符拆分、语音的拆分等等；h0、h1、…、ht可以理解成多个输出，通常也可能最终被concat到一起，做为一个输入。
上图是单向的，也就是h1会受h0的影响，h2会受h1、h0的影响，…，但反过来不会。RNN网络也会有双向的情况，使前后互相影响。
Recent Posts
Tags