个人学习笔记
HarmonyHu's Notes
日日行，不怕千万里
AI Compiler Engineer · 个人学习笔记
最新文章
-
2026-04-27
ClaudeCode学习整理
学习资料 使用基础 1. 安装 2. 自定义模型 1) 方法一 2) 方法二 3. 启动与命令 4. 目录 5. 工作流学习资料本文全部内容来...
-
2026-02-27
Copilot-CLI学习整理
学习资料 使用基础 1. 安装 2. 登录 学习资料本文全部内容来自：copilot-clicopilot-cli-for-beginners使用基础1. 安装 Windows下安装命令：winget install G...
-
2026-02-21
Qwen3.5解析
RMSNorm源码：qwen3.5Qwen3.5包含了VIT进行图像处理，所以可以与Qwen3-VL做对比： RMSNorm稍有区别 LinerAttention与FullAttention混合，比例是3:1 LinearAtten...
-
2025-10-07
Qwen3VL解析
Vision部分源码：qwen3_vlVision部分Qwen3VL图片patch大小为16，比如图片800x640，对应thw为[1, 50, 40]。一些重要参数如下：hidden_size = 1152num_heads = 16
-
2025-06-17
FlashAttention学习
背景介绍学习论文：FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness背景介绍Attention运算公式：$ Attention(Q,K,V) = softmax(\fra...
-
2025-04-17
Qwen2.5Omni解析
Audio部分 1. 音频前处理 第一步：读取音频数据 本文以Qwen2.5-Omni-7B为例解析该模型。源码：modeling_qwen2_5_omni.pyAudio部分1....
-
2025-01-17
音频基本概念
音频 比特率：比如128kbps，表示每秒有128kbit的音频数据，也就是16KB/s。标准的MP3用128kbs；高品质MP3用192kbps。 频道：也称声道(Channel)，表示声音信号流数量。1为单声道；2为立体声道。 量化位深：Bit Dep...
-
2024-12-17
Qwen2.5VL解析
Vision部分本文以Qwen2.5VL-7B为例，分Vision部分和LLM部分，来解析该模型。源码：modeling_qwen2_5_vl.pyVision部分在config.json中vision部分的配置如下："vision_config": { "dep...
-
2024-06-17
LLM的采样策略
贪心解码LLM的decode阶段会输出vocab_size个数值，本文用logits表示。每个位置对应词典每个token。选择哪个token，有不同的策略。参考链接：logits_process.py贪心解码Greedy Decoding，也就是直接选择数值最大的那个位...
-
2024-05-17
Safetensors文件格式
基本介绍基本介绍 本文出处：Safetensors 一种tensors的存储格式，读写速度快，常用于huggingface上权重的存储 安装方法：pip3 install safetensors