日均产出万亿Token!Mooncake落地生产,KV Cache命中率稳定突破90%
日均产出万亿Token!Mooncake落地生产,KV Cache命中率稳定突破90%趋境科技通过部署SGLang HiCache+Mooncake Store,将KV Cache从单机资源升级为集群级共享池化资源,支撑其日均产出超万亿Token的生产实践,KV Cache命中率稳定突破90%,并在生产环境中持续优化大规模推理集群的性能与稳定性。
搜索
趋境科技通过部署SGLang HiCache+Mooncake Store,将KV Cache从单机资源升级为集群级共享池化资源,支撑其日均产出超万亿Token的生产实践,KV Cache命中率稳定突破90%,并在生产环境中持续优化大规模推理集群的性能与稳定性。
Anthropic发布2026年9月威胁情报报告,指出AI滥用已从辅助工具升级为可自主运行的行动系统,覆盖非法模型蒸馏、零日漏洞自动化挖掘、多Agent集群滥用等七大风险领域。
Astra 太好用,连 OpenAI 也扛不住了。
距离OpenAI宣布用88小时攻破千禧年难题「NS方程」,才仅仅过去两天。
OpenAI之后,老黄也出手了!
Muse刚发布,把它造出来的Meta TBD实验室,却又有人开始离场。
GPT-6 Astra也是一个集美模型。
刚刚,OpenAI把一位「AI末日论」者,请进了自己的董事会。
到 2030 年,如果 AI 已经能够自主完成大量工作,美国经济会发生什么?AI 会让我们变得更富有?还是带来更多失业?
OpenAI因GPT-6 Astra算力需求激增,于9月10日正式暂停200美元/月ChatGPT Pro档新订阅与升级,其他套餐及现有用户不受影响。