个人学习笔记
HarmonyHu's Notes
日日行，不怕千万里
AI Compiler Engineer · 个人学习笔记
最新文章
-
2021-04-21
BERT
概述概述BERT: Bidirectional Encoder Representation from Transformers论文地址[2019]：BERT: Pre-training of Deep Bidirectional Transformers for La...
-
2021-04-10
Transformer
概述概述论文地址[2017]：Attention Is All You Need核心运算：$ Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V $描述：查询(Query)到键值(Key-Value)的映射
-
2021-03-27
ONNX
概述概述ONNX，Open Neural Network Exchange。由于神经网络架构很多，如caffe、tensorflow、pytorch、mxnet等等，模型结构各式各样，onnx旨在将模型结构统一起来。官方代码：ONNX算子操作：Operators环境要求...
-
2021-02-21
统计距离
熵 信息量 信息熵 熵Entropy, [ˈentrəpi], 熵，无序状态信息量信息不确定性越大，信息量越大。假定X是随机事件集合，其中 $ p(x_0) $ 表示事件$ x_0 $的概率，那么事件$ x_0 $的信息量定义为 $...
-
2021-01-10
浮点型存储格式
FP32FP32float共32bit：1bit符号位，8bit指数位，23bit底数位。如下表示：S E8 M23浮点与二进制转换公式如下：$ Y = (-1)^{s} \times 2^{e} \times m，其中m = 1.M23，e = E8 - 127 $
-
2020-11-01
RNN/LSTM/GRU
RNNRNNRNN：Recurrent Neural Networks，循环神经网络，能够应用于空间或时间先后相关的场景，比如文字解析、语音识别。RNN模型结构简单描述，如下图：其中X0、X1、……、Xt，可以理解成多个输入，或者对单个输入拆分成的多个输入，比如一张图片...
-
2020-10-08
Macbook操作
快捷键快捷键 文本 文件 其他 Command-C 拷贝Command-V 粘贴Command-X 剪切Command-Z 撤销Command-A 全选command-S 保存Command-F...
-
2020-07-10
TimeComplexity
概述概述时间复杂度通常用大O符号表示，不考虑低阶项和系数，主要考察算法中元素个数N趋于无穷时的情况。另外时间复杂度也有最好情况表示Ω，和平均情况表示Θ。大O是最坏情况表示。
-
2020-06-17
SSD网络
概述概述目标检测目前主要有种方法： two-stage: R-CNN和Faster R-CNN系列为代表，先生成region proposal(预选框)，再经过CNN网络进行分类 one-stage: ssd和yolo为代表，边提取特征边分类论文地址[2016]：S...