最近文章

全部文章 · 35 篇

llm-d SLO延迟预测路由一些研究

前段时间对于LLM inference的SLO部分设计做了一些研究,又看了一下llm-d的这里,发现他们对SLO延迟预测也一些研究成果,这里就总结一下。 概览 Predicted Latency-Based Routing,SLO-aware 是其中一种模式。llm-d 的路由组件 EPP(Endp

阅读全文
  1. 02
  2. 03
  3. 04

    巴黎简游记

    记录

  4. 05

瞬间

更多瞬间
  1. 吐槽一句,在挪威旅游hiking的过程中,扔掉手机,不看知乎、小红书等平台,精神反而获得了极大的放松,深刻地理解到了社交平台是有毒的这一句话。

  2. 才知道部分中转站自身也会设立敏感词检查,吐了

  3. 去医院做了胃肠镜,切了一个肠息肉,后续需要继续定期做肠镜检查。