月之暗面:3 月 20 日以来 Kimi 流量增加趋势远超预期,导致 SaaS 客户体验异常
月之暗面发布情况说明:从 2024.3.20 9:30:00 开始,我们观测到 Kimi 的系统流量持续异常增高,流量增加的趋势远超我们对资源的预期规划。这导致了从 2024.3.20 10:00:00 开始,有较多的 SaaS 客户持续的体验到 429:engine is overloaded 的异常问题,对此我们深表抱歉。
做为一家以技术为导向的公司,我们非常理解一个 API 的稳定性是能否投入实际生产的最关键因素之一,已经有多项应急措施正在实施,包括不限于:从 3.20 观测到流量异常增高后,已经进行了 5 次扩容工作。推理资源会持续配合流量进行扩容,以尽量承载持续增长的用户量;设计了一套更有效的 SaaS 流量优先级策略,以保障付费用户的调用稳定,预计 3.25 之前完成并上线。