Sweep LLM 功耗控制调度策略研究(二)
前篇文章：https://eduardoqian.com/archives/sweep-llm-gong-hao-kong-zhi-diao-du-ce-lue-yan-jiu-yi 继续书接上回。 PD分离 目前vllm PD分离广泛应用于推理系统中，考虑到prefill和decode的计算特征，
Tag: AI
-
01
-
02
Sweep LLM 功耗控制调度策略研究(一)
8月份了，趁着开学之前，抽时间整理一下暑假做的Reasearch Assistant的工作内容整理。 研究内容 现状 项目主要是基于博士后做的SWEEP-LLM runtime 调度器的进一步扩展。这个调度器尝试解决的问题是在PD分离的异构GPU混合集群上，调度传入请求，使请求能够在满足TTFT/T
-
03
T2I 开源生图的新王 Krea2
参考之前的一篇文章，在ideogram 4昙花一现之后，紧接着出现Krea2造成的风浪远远大于ideogram 4. https://eduardoqian.com/archives/t2i-wen-sheng-tu-de-xin-xiu-ideogram-4ti-yan-he-ping-jie h
-
04
T2I 文生图的新秀Ideogram 4体验和评价
考完试后，除了做一些Research Assistant的工作，我惊喜的发现了AI生图开源模型里又来了一个新秀ideogram 4。上一个给我如此惊喜震撼的还是z-image，而细究起来，我对ideogram4的表现以及未来更有信心一些，尤其是考虑到z-image几乎被阿里给砍了，edit模型迟迟不
-
05
从头开始手写一个Qwen的Naive CUDA Kernel推理引擎(三)
为了加快文档编写速度，我们加快描述。 首先是RMSNorm的实现。我们这里的实现是遍历Embedding_batch中的每个Embedding的Token，对其做RMSNorm的操作： embedding_batch RMSNorm(const embedding_batch &token_embe
-
06
从头开始手写一个Qwen的Naive CUDA Kernel推理引擎(二)
Tokenizer 概述 下一步是Tokenizer（分词器），Tokenizer是Embedding之前最重要的一步。 它是用来将本文拆分成模型或机器可以处理的小单位，并分配一个唯一的标识符(Token)。 分词流程 分词流程包括Normalization, Pre-tokenization, M
-
07
从头开始手写一个Qwen的Naive CUDA Kernel推理引擎(一)
在上学期的课程中，我们的任务是对修改后的llama2.c项目(移除了kv-cache和编译器优化)进行优化。因为这个项目强制按组分配，所以我没有机会完整的从头来编写并优化LLM的推理引擎。因此在这里尝试手动从头使用CPU，Naive CUDA Kernel，写一个Qwen的推理引擎。 在这里我们首先
-
08
AIOps研究
一、概述 在AI飞速发展的今天，智能化运维显得越来越重要；从传统的统计学分析出发，经由机器学习，再到深度学习，我们能利用的智能分析工具越来越多，下面便是尝试将AI智能体系引入传统运维的探索。 二、应用资源领域 1.概述 在这里，应用资源主要指的是运行项目的占用资源，例如基础的CPU使用率、内存使用量
