搜索
趋境科技通过部署SGLang HiCache+Mooncake Store，将KV Cache从单机资源升级为集群级共享池化资源，支撑其日均产出超万亿Token的生产实践，KV Cache命中率稳定突破90%，并在生产环境中持续优化大规模推理集群的性能与稳定性。
她是xAI前推理团队负责人。她研究并发起的开源推理引擎SGLang，已经成为众多大模型部署和推理的重要底层工具，也是目前AI infra领域最具影响力的开源推理框架之一。如今，她从SGLang开源生态中孵化出创业公司RadixArk，希望把只有少数科技巨头才能拥有的前沿AI基础设施，变成整个行业都可以使用的开放技术底座。
这篇文章，我们邀请到了由SGLang孵化的RadixArk的联合创始人和核心成员，以及数据中心专家，一起聊聊AI Infra的四层架构、行业如何把“硅”的潜力榨到极限，以及背后的关键技术。
Boson AI 与 SGLang-Omni 团队宣布，SGLang-Omni 已完成对 Higgs Audio v3 TTS 的端到端 Serving 支持。作为一家成立于 2023 年的 AI 基础设施公司，李沐与 Alex Smola共同创立了 Boson AI，聚焦大模型时代的系统与基础设施创新。
老黄在北京喝豆汁「翻车」，全网笑疯了。但真正值得警惕的，是他背后那个正在长出来的「中国版CUDA生态」。从万卡集群到机器狗，从SGLang主线到AI Agent自动迁移，这家公司这次不只是秀芯片，而是在重写国产GPU的游戏规则！
如果只看这场 Meetup 的嘉宾名单，你大概会先想到海外芯片巨头，或者某家国际 AI 基础设施公司。
没有大厂高管站台，一屋子却挤满了开源圈的熟面孔。
AI 基础设施初创公司 RadixArk 宣布完成 1 亿美元种子轮融资，投后估值 4 亿美元。无论金额、估值还是投资人阵容，这都是 2026 年 AI Infra 赛道中目前最重的一笔早期下注。
受 Kimi K2 团队启发，SGLang RL 团队成功落地了 INT4 量化感知训练（QAT） 流程方案。通过 “训练端伪量化 + 推理端真实量化（W4A16）” 的方案组合，我们实现了媲美 BF16 全精度训练的稳定性与训推一致性，
，时长 00:20 视频 1：单样例推理速度对比：SGLang 部署的 Qwen3-8B (NVIDIA) vs. LoPA-Dist 部署 (NVIDIA & Ascend)（注：NVIDIA 平台