llm-d SLO延迟预测路由一些研究
前段时间对于LLM inference的SLO部分设计做了一些研究,又看了一下llm-d的这里,发现他们对SLO延迟预测也一些研究成果,这里就总结一下。 概览 Predicted Latency-Based Routing,SLO-aware 是其中一种模式。llm-d 的路由组件 EPP(Endp
阅读全文最近文章
全部文章 · 35 篇前段时间对于LLM inference的SLO部分设计做了一些研究,又看了一下llm-d的这里,发现他们对SLO延迟预测也一些研究成果,这里就总结一下。 概览 Predicted Latency-Based Routing,SLO-aware 是其中一种模式。llm-d 的路由组件 EPP(Endp
阅读全文瞬间
更多瞬间