MENTAL MODEL · M5957
分词
Tokenization
Version 1.0.0 · 更新于 2026-07-30
CORE DEFINITION · 核心定义
将文本切分为模型可处理的最小单位（Token）。Token可以是字、词或词根。模型不理解句子，只理解Token的序列概率。
SCAFFOLDING EFFECT · 脚手架效应
psychology
降低认知负荷
信息的颗粒度。你对世界的理解取决于你的“分词”方式。专家能看到“组块”（Chunking），新手只能看到“字母”。提升认知的关键，是升级你大脑中的Tokenizer，把复杂的现象打包成更大的意义单元。
anchor
锚定快速决策
NLP 中将文本切分为 token 序列，作为模型输入的最小语义/统计单位（字/词/子词如 BPE）。机制是"离散化 + 概率建模"——模型在 token 序列上学条件概率，token 粒度决定能力与成本。
MINIMUM ACTION · 最小行动
进行中 0/4在一个真实场景中练习这个模型：
勾选记录你的进度（本机暂存）
掌握进度0%
account_tree知识谱系 Genealogyexpand_more
menu_book信源参考 Sourcesexpand_more
来源明确性: 明确
- en.wikipedia.orghttps://en.wikipedia.org/wiki/Tokenizationverified
PRIVATE NOTES · 仅自己可见
已保存问答
ENTRY Q&A · 可保存至我的笔记
在清晰边界内提问
thinkingmodels 仅基于已发布的条目上下文回答。
你的问题会发送给 thinkingmodels；回答仅使用公开词条上下文。
RELATED MODELS · 相关模型