# 延迟与吞吐量

> Latency是单次请求的响应时间（快不快）

- ID: m01009
- 分类: technical
- 领域: 软件工程

## 定义

Latency是单次请求的响应时间（快不快）；Throughput是单位时间处理的总量（多不多）。低延迟不等于高吞吐量（如跑车运货 vs 火车运货）。脚手架作用：明确优化目标。你的目标是“秒回消息”（低延迟）还是“一天搞定10个方案”（高吞吐量）？这两者往往是矛盾的。为了高吞吐量（深度工作），你必须牺牲延迟（不回微信）；为了低延迟（即时响应），你必然牺牲吞吐量。

## 机制

延迟衡量单个请求多快返回，吞吐量衡量单位时间处理量；二者常相互制约——为提吞吐而批处理往往抬高延迟。理解权衡才能合理设定目标。

## 练习

明确业务对延迟与吞吐的优先级；用 Little 定律关联二者（在途=吞吐×延迟）；压测观察拐点；按场景选批处理或流式。

## 脚手架用法

明确优化目标。你的目标是“秒回消息”（低延迟）还是“一天搞定10个方案”（高吞吐量）？这两者往往是矛盾的。为了高吞吐量（深度工作），你必须牺牲延迟（不回微信）；为了低延迟（即时响应），你必然牺牲吞吐量。

[阅读网页](https://thinkingmodels.site/entries/detail/m01009)