一个实现了完整QWEN3架构的pretrain模型，包括： Encoder - Deocder 架构 Decoder-only 架构 MHA / GQA / MQA / MLA with kv cache 以及beam search, ROPE，MOE等实现 除此之外，还有一些leetcode算法题以及常见算法手撕题，可供参考
silliye/qwen3
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|
| Name | Name | Last commit date | ||
|---|---|---|---|---|