自然语言处理

从分词到预训练,理解机器处理语言的底层逻辑

自然语言处理(NLP)研究如何让计算机理解和生成人类语言。从分词、词性标注、命名实体识别,到机器翻译、问答与对话,NLP 是今天大模型能力的直接来源。它既是语言学与统计方法的交叉,也是所有对话系统的地基。

即使你只做应用,理解 tokenization、文本表示和评测方法,也能避免很多「玄学调参」。所以别把它当成只属于研究者的领域。

为什么基础仍然重要

大模型把很多传统任务变成了「写提示词」,但工程问题并没有消失:中文分词影响检索召回,标注规范决定数据质量,评估指标决定你能否判断改进是否有效。理解 BERT 与 GPT 两条路线的差异,也能帮你在微调、检索和提示之间做出正确选择。理解语言模型如何被评测,能帮你在选型和验收时少交学费。

核心概念与技术脉络

沿着数据形态和任务目标,可以把它拆成下面几块,它们至今仍在使用。

  • 文本表示:从词袋、word2vec 到上下文相关的预训练表示。
  • 模型路线:BERT 式编码器擅长理解类任务,GPT 式解码器擅长生成,T5 把两者统一为序列到序列。
  • 任务与评估:分类、抽取、摘要、翻译;BLEU、ROUGE 之外更要看人工评估与业务指标。
  • 中文与多语言:分词边界、简繁转换与领域词表,都会影响实际效果。

学习路径与误区

先系统读一遍经典教材,再用 Hugging Face 课程跑通预训练模型微调,然后用 spaCy 快速做工程原型。教材不必一次读完,按任务查章节即可。建议拿一份真实语料完成「数据标注、训练、评估、错误分析」的完整闭环,这比刷十个教程更有价值。如果只做应用,至少要能独立完成一次数据清洗和错误分析。

常见误区:认为 NLP 只剩提示工程;用单一指标代替错误分析;忽视标注一致性;不处理中文分词与领域术语。

学完本专题再去看大模型,你对 tokenizer、上下文和评测的理解会明显更扎实。遇到效果不好的时候,先看数据,再看模型,最后才看提示词。

这个专题要回答的问题

  • 有了大模型,还有必要学分词、NER 这些传统 NLP 任务吗?
  • BERT 和 GPT 的核心区别是什么?
  • 中文分词为什么比英文麻烦?
  • 文本分类任务,微调小模型和调用大模型 API 哪个更合适?
  • BLEU、ROUGE 分数高就说明生成质量好吗?
  • NLP 项目的数据标注该怎么组织?

精选资源

ARTICLES

相关文章

全部文章 →