Python文本分析

本书遵循结构化和综合性的方法，介绍了文本和语言语法、结构和语义的基础概念和高级概念。从自然语言和Python的基础开始，进而学习先进的分析理念和机器学习概念。全面提供了自然语言处理（NLP）和文本分析的主要概念和技术。包含了丰富的真实案例实现技术，例如构建分类新闻文章的文本分类系统,使用主题建模和文本摘要分析app或游戏评论,进行热门电影概要的聚类分析和电影评论的情感分析。介绍了基于Python和流行NLP开源库和文本分析实用工具，如自然语言工具包（nltk）、gensim、scikit-learn、spaCy和Pattern。

迪潘简·撒卡尔（Dipanjan Sarkar）Intel 数据科学家。他的主要研究领域是数据分析、商业智能、应用开发以及大型智能系统构建。他专注于数据分析实践领域已经有四年多了，通过约翰霍普金斯大学的网络公开课程获得了数据科学专业认证，并且还出版了几本关于R语言和机器学习的书。

前言

从高中开始接触数学和统计学以来，我就一直对数字着迷。分析学（analytics）、数据科学以及最近的文本分析技术均出现较晚，大概是在几年前，当时关于大数据（big data）和数据分析的炒作越来越猛烈，甚至有些疯狂。就个人而言，我认为其中很多都是过度炒作，但是也有一些令人兴奋的东西，因为这些技术在新工作、新发现以及解决人们先前认为不可能解决的问题方面展现了巨大的可能性。
自然语言处理（Natural Language Processing，NLP）一直深深吸引着我，因为人脑科学和人类认知能力确实令人着迷。如果尝试在机器中重塑这种传递信息、复杂思维和情绪的能力，那一定是令人惊喜的。当然，尽管我们在认知计算（cognitive computing）和人工智能（Artificial Intelligence，AI）方面的发展突飞猛进，但现在尚且无法实现这一点。仅通过图灵测试可能是不够的，机器真正能复制人的方方面面吗？
当今，对于NLP和文本分析应用，迫切需求从非结构化、原始文本数据中提取有用信息和可行见解的能力。到目前为止，我一直在努力解决各种问题，面临诸多挑战，并随着时间的推移吸取了各种各样的经验教训。本书涵盖了我在文本分析领域学到的大部分知识，仅仅从一堆文本文档中建立一个花哨的词云是不够的。
在学习文本分析方面，最大的问题或许不是信息缺乏，而是信息过多，通常这称为信息过载（information overload）。海量的资源、文档、论文、书籍和期刊包含了大量的理论资料、概念、技术和算法，它们常常使该领域的新手不知所措。解决问题的正确技术是什么？文本摘要如何真正有效？哪些才是解决多类文本分类的框架？通过将数学和理论概念与现实用例的Python实现相结合，本书尝试解决这个问题，并帮助读者避免迄今为止我所遇到的一些急迫问题。
本书采用了全面的和结构化的介绍方法。首先，它在前几章中介绍了自然语言理解和Python结构的基础知识。熟悉了基础知识之后，其余章节将解决文本分析中的一些有趣问题，包括文本分类、聚类、相似性分析、文本摘要和主题模型。本书还将分析文本的结构、语义、情感和观点。对于每个主题，将介绍基本概念，并使用一些现实世界中的场景和数据来实现涵盖每个概念的技术。本书的构想是呈现一幅文本分析和NLP的蓝海，并提供必要的工具、技术和知识以处理和解决工作中遇到的问题。我希望你能觉得本书很有帮助，并祝你在文本分析的世界中旅途愉快！

目录
译者序
前言
第1章自然语言基础
1.1自然语言
1.1.1什么是自然语言
1.1.2语言哲学
1.1.3语言习得和用法
1.2语言学
1.3语言句法和结构
1.3.1词
1.3.2短语
1.3.3从句
1.3.4语法
1.3.5语序类型学
1.4语言语义
1.4.1词汇语义关系
1.4.2语义网络和模型
1.4.3语义表示
1.5文本语料库
1.5.1文本语料库标注及使用
1.5.2热门的语料库
1.5.3访问文本语料库
1.6自然语言处理
1.6.1机器翻译
1.6.2语音识别系统
1.6.3问答系统
1.6.4语境识别与消解
1.6.5文本摘要
1.6.6文本分类
1.7文本分析
1.8小结
第2章Python语言回顾
2.1了解Python
2.1.1Python之禅
2.1.2应用：何时使用Python
2.1.3缺点：何时不用Python
2.1.4Python实现和版本
2.2安装和设置
2.2.1用哪个Python版本
2.2.2用哪个操作系统
2.2.3集成开发环境
2.2.4环境设置
2.2.5虚拟环境
2.3Python句法和结构
2.4数据结构和类型
2.4.1数值类型
2.4.2字符串
2.4.3列表
2.4.4集合
2.4.5字典
2.4.6元组
2.4.7文件
2.4.8杂项
2.5控制代码流
2.5.1条件结构
2.5.2循环结构
2.5.3处理异常
2.6函数编程
2.6.1函数
2.6.2递归函数
2.6.3匿名函数
2.6.4迭代器
2.6.5分析器
2.6.6生成器
2.6.7itertools和functools模块
2.7类
2.8使用文本
2.8.1字符串文字
2.8.2字符串操作和方法
2.9文本分析框架
2.10小结
第3章处理和理解文本
3.1文本切分
3.1.1句子切分
3.1.2词语切分
3.2文本规范化
3.2.1文本清洗
3.2.2文本切分
3.2.3删除特殊字符
3.2.4扩展缩写词
3.2.5大小写转换
3.2.6删除停用词
3.2.7词语校正
3.2.8词干提取
3.2.9词形还原
3.3理解文本句法和结构
3.3.1安装必要的依赖项
3.3.2机器学习重要概念
3.3.3词性标注
3.3.4浅层分析
3.3.5基于依存关系的分析
3.3.6基于成分结构的分析
3.4小结
第4章文本分类
4.1什么是文本分类
4.2自动文本分类
4.3文本分类的蓝图
4.4文本规范化处理
4.5特征提取
4.5.1词袋模型
4.5.2TFIDF模型
4.5.3高级词向量模型
4.6分类算法
4.6.1多项式朴素贝叶斯
4.6.2支持向量机
4.7评估分类模型
4.8建立一个多类分类系统
4.9应用
4.10小结
第5章文本摘要
5.1文本摘要和信息提取
5.2重要概念
5.2.1文档
5.2.2文本规范化
5.2.3特征提取
5.2.4特征矩阵
5.2.5奇异值分解
5.3文本规范化
5.4特征提取
5.5关键短语提取
5.5.1搭配
5.5.2基于权重标签的短语提取
5.6主题建模
5.6.1隐含语义索引
5.6.2隐含Dirichlet分布
5.6.3非负矩阵分解
5.6.4从产品评论中提取主题
5.7自动文档摘要
5.7.1隐含语义分析
5.7.2TextRank算法
5.7.3生成产品说明摘要
5.8小结
第6章文本相似度和聚类
6.1重要概念
6.1.1信息检索
6.1.2特征工程
6.1.3相似度测量
6.1.4无监督的机器学习算法
6.2文本规范化
6.3特征提取
6.4文本相似度
6.5词项相似度分析
6.5.1汉明距离
6.5.2曼哈顿距离
6.5.3欧几里得距离
6.5.4莱文斯坦编辑距离
6.5.5余弦距离和相似度
6.6文档相似度分析
6.6.1余弦相似度
6.6.2海灵格-巴塔恰亚距离
6.6.3Okapi BM25排名
6.7文档聚类
6.8最佳影片聚类分析
6.8.1kmeans聚类
6.8.2近邻传播聚类
6.8.3沃德凝聚层次聚类
6.9小结
第7章语义与情感分析
7.1语义分析
7.2探索WordNet
7.2.1理解同义词集
7.2.2分析词汇的语义关系
7.3词义消歧
7.4命名实体识别
7.5分析语义表征
7.5.1命题逻辑
7.5.2一阶逻辑
7.6情感分析
7.7IMDb电影评论的情感分析
7.7.1安装依赖程序包
7.7.2准备数据集
7.7.3有监督的机器学习技术
7.7.4无监督的词典技术
7.7.5模型性能比较
7.8小结

机器学习,python,Python