ONNX项目报告
项目提交人：李澍 设计与实现 ONNX动态维度表示 之前版本的Shape本质上是 vector ， 所以它只能保存具体的整数，无法直接保存”batch”,或者”unknown”这样的语义，所以我在前端增加了一层表示。 例如输入为： [ "batch" , 3, ?, 2] class DimensionKind ( str , Enum)…
Lemon Sour
最新文章
观前须知
这个博客建立的目的纯属当作记录自己当下生活和类似笔记本的平台，里面包含大量自己的主观臆断。里面的大部分观点是拾人牙慧，自己的看法也大多浅薄且偏激，不具有任何现实意义。我也无意去传播自己的思想，也不屑于拿自己的认识去洗脑别人。当你与我交流时——无论以什么方式，我都会把你看作是与我对等的，具有独立思考能力，具有主体性的，具有共情能力的个体。 博客已经将内容做好了…
AI 编译器项目实现笔记
写一个做项目时的笔记，记录一下 ONNX 这是一个需要调用的python包，它的作用是把 PyTorch、TensorFlow 等框架训练出来的模型，转换成一个统一的计算图格式 .onnx，然后交给不同推理后端运行。 一个ONNX模型大概可以理解为： ModelProto │ └── GraphProto │ ├── inputs │ ├── outputs…
母女
本来背着电吉他回家是想着在暑假练练琴，跟进一下老师布置的暑期作业，结果整个暑假拿起电吉他也就5个小时不到，反倒是天天练木吉他不亦乐乎。我爹问我为什么不练电吉他，我说，电吉他是工作，木吉他是生活。实则路径依赖惯了，遇到需要耗精力的就摆烂了。一转眼暑假也过去了，又得把吉他给背回去，这把电吉他寄托着我的雄心壮志，最终要和我一起灰溜溜的回到西安。 背着吉他总是有种别…
万寿寺
写点不一样的 写着写着才发现真难写，后面构思清楚了再写
寻找无双
红拂夜奔
一个小学同学突然给我发信息说他失恋了。他说他不知道为什么那个女生要离开他，或许是嫌弃他穷吧。那个女生分手的时候对他说，跟着他感觉没有未来。突然之间，在他刚开始奋斗，希望赚钱为二人拼搏出一个理想的未来的时候，女生断崖式分手。他说，我很爱那个女生，以前玩的很花，本来和这个女生也没想过走长远，但是这个女生是第一次让他感受到有人在关心他，有人在为他着想，所以他才会想…
向夜晚奔去
好久没写了，写点东西记录一下自己的生活吧。
nano-vllm 学习笔记-投机解码EAGLE
做一下投机解码这一块的笔记，感觉这一块还是很重要的，所以就自己实现一下。 投机解码主要的逻辑就是我如果线性的一个个的去求decode出来的token，那么GEMM就会退化成GEMV，因为是流水线型的。为了缓解这种情况所以就采取了投机解码的方式，意思是我拿一个小模型一次性的多生成几个token，然后统一的再去验证它。 这里我采取的是复现EAGLE这个方法，它是…
nano-vllm 学习笔记-量化
这里我打算围绕着AWQ去做，然后我发现AWQ在vLLM里面实际只支持FP16这个格式，如果要支持Qwen3和Llama里的BF16的格式，需要再添加一个接口做awq_marlin，这个再vLLM中也是实现了的。 考虑到模型的复杂性和我实际的工作量要求，我打算先做出来最基础的AWQ，然后在跑模型的时候强制转换格式。然后把量化这一块搞明白的差不多的时候，我再实现…