Home

AI Intel

Last 90 days · 2931 total

github.com
重点
vLLM v0.22.0 发布:深化DeepSeek V4支持

vLLM发布v0.22.0版本,包含230名贡献者的459次提交。此次更新特别强调了对DeepSeek V4模型的成熟度提升,重构了模型结构以更好地支持DeepSeek V4。

Original
www.reddit.com
趋势
搞钱
AMD MI300X上LLM推理单核优化达到3,300 tokens/s

一项研究展示了在AMD MI300X硬件上构建单核(monokernel)进行LLM推理的成果,通过优化,实现了每个请求高达3,300 tokens/s的惊人输出速度。该优化充分利用了芯片的拓扑结构。

Original
Previous188 / 294 · 2931 totalNext