跳到主要内容

LLM 推理框架

一、大模型推理流程​

大模型推理通常分为两个主要阶段：Prefill 阶段和 Decoder 阶段。