第1章 绪论

自然语言处理(Natural Language Processing, NLP)是人工智能领域和计算机科学领域的一个重要方向。它涵盖了计算语言学、计算科学、认知科学和人工智能等领域。从科学的角度看,自然语言处理旨在模拟人类语言理解和产生的认知机制。从工程的角度看,自然语言处理以促进计算机与人类语言的交互为目的,重点关注如何开发与语言相关的新颖的应用程序。

自然语言处理作为一种专门为传达含义或语义而构建的系统,其本质是一种象征性或离散性系统。自然语言处理中的典型应用场景包括语音识别、口语理解、对话系统、词汇分析、语法分析、机器翻译、知识图谱、信息检索、问答、情感分析、社会计算、自然语言生成和自然语言摘要。

尽管基于深度学习的自然语言处理取得了惊人的成功,其发展仍然面临巨大的挑战。语言是智慧的载体,即使是如今最强大的大规模语言模型,也仍然面临着幻觉现象、多跳推理能力弱、数学能力不足等亟待解决的问题。

本书为自然语言处理入门书籍,将从计算语言学的角度出发并结合实例介绍各个任务及相关的方法。从这些基本任务的介绍中,读者可以一窥自然语言处理学科的发展历程以及范式转变,从而对整个学科有一个更加宽泛和深刻的认知。