CUDA
标签：CUDA
CUDA学习之GEMM（一）
这一节按照ppt完成以下任务，分别是矩阵乘法GEMM的Naive版本，内存合并版本，SMEM分块版本，1D Blocktiling版本，2DBlocktiling版本等等。我感觉还挺恶心的，这个做完我就拿去当我简历上的东西了，直到后面我们完成了FlashAttention的优化。 认真做做吧！
CUDA学习之内存模型与规约优化与向量规约
问你个问题，《情爱现象学》中爱会有个什么高潮之后的断崖，然后作者提到了什么光环，圣像的破灭，然后我如果要继续爱会有个什么末世论的爱，那这里的爱和圣像或者光环那个阶段的爱有什么区别呢 Roofline 先说一下上次遗留下来的一些问题：Roofline 上次只是粗浅的知道了Roofline大概的落点在哪，但是对于它实际的意义其实我并没我想象中的清楚，所以这次仔细…
CUDA性能分析与优化逐元素访存
先把上次没有写完的grid-stride的给写完。 # include <iostream> # include <iomanip> # include <vector> # include <cmath> # include <algorithm> # include <cstdlib> # include <cuda_runtime.h> # defin…