Effective Python

本书能够帮你掌握真正的 Pythonic 编程方式，充分发挥 Python 的优势，写出健壮而高效的代码。Scott Meyers在其名著Effective C++中开创了一种用简明的场景实例来讲述编程经验的方式，本书作者Brett Slatkin也沿用这种方式，向大家讲解 Python 的编程原则、开发技巧与便捷方案，形成 90 条建议并配有实用的范例代码，以便大家能够扎实地掌握 Python 语言。

【本书的关键内容包括】：

● 31 条新的实用建议，这些建议涵盖 Python 开发的几个主要方面。

● 对各种语句、表达式与内置类型做了详细讲解与演示。

● 怎样写出意图清晰、便于复用而且不容易出现 bug 的函数。

● 怎样更好地使用推导机制与生成器函数。

● 怎样用类与接口准确展示相关的行为。

● 怎样避开元类与动态属性中的一些陷阱。

● 怎样用更高效且更清晰的方法写出并发与并行程序。

● 怎样优化程序性能并提升代码质量。

● 用于改进调试与测试工作的技术与内置模块。

● 与协作开发有关的工具和经验。

Brett Slatkin是Google首席软件工程师，他是Google Surveys的联合技术创始人，也是PubSubHubbub协议的共同创造者之一。此外，Slatkin还发布了Google的第一个云计算产品——App Engine。早在15年前，Slatkin就开始在工作中使用Python管理Google大量的服务器群。他拥有纽约哥伦比亚大学计算机工程专业学士学位。

●本书可以帮你掌握真正的Pythonic编程方式，令你能够完全发挥出Python语言的强大功能，并写出健壮而高效的代码。Scott Meyers在畅销书Effective C++中开创了一种以使用场景为主导的精练教学方式，本书作者Brett Slatkin就以这种方式汇聚了90条实践原则、开发技巧和便捷方案，并以实用的代码范例来解释它们。

●Slatkin根据自己在Google公司多年开发Python基础架构所积累的经验，揭示Python语言中一些鲜为人知的微妙特性，并给出了能够改善代码功能及运行效率的习惯用法。通过本书，你能够了解到解决关键编程任务所用的奇妙方式，并学会编写易于理解、便于维护且利于改进的代码。

【前　言】

Python是一门强大的编程语言，它很有魅力，同时也很独特，所以掌握起来或许有点儿困难。许多程序员从他们熟悉的语言转到Python之后都打不开思路，所以写出来的代码没有充分发挥出Python的特性。还有一些程序员则相反，他们会滥用Python的特性，这样写出来的程序以后可能会出现严重的问题。

本书会详细地告诉大家如何采用符合Python风格的方式（Pythonic方式）来编写程序，这是使用Python语言的最佳方式。笔者假设你对这门语言已经有了初步了解。编程新手可以通过这本书学到各种Python功能的最佳用法，有经验的程序员则能够学会如何自信地运用Python中的新工具。

笔者的目标是让大家用Python开发出优秀的软件。

【本书涵盖的内容】

本书每一章都包含许多相互关联的条目。大家可以按照自己的需要随意阅读这些条目。每个条目都包含简洁而明确的教程，告诉你如何才能更有效率地编写Python程序。笔者在每个条目里都给出了建议，告诉大家哪些应该做，哪些应该避免，以及怎样在各种做法之间求得平衡，并且会解释笔者所选的做法好在哪里。笔者可能会在某个条目中提到其他一些条目，让大家可以全面地了解这些建议所涉及的知识。

本书第2版只针对Python 3（参见第1条），这里说的Python 3包含从3.0到3.8的各个版本。本书第1版中的许多条目仍然收录在第2版中，并且做了修订，其中有些条目改动比较大。随着Python语言越来越成熟，最佳编程方法也在演变，所以笔者在第2版中对某些问题的建议，可能与第1版的完全不同。Python 2已经在2020年1月1日退场，如果你还是主要在用这个版本来编程，那么第1版中的建议或许比第2版中的建议更加合适。

Python采用“自带电池”（batteries included）的理念来设计标准库，不像其他语言那样只提供少数几个常用的软件包，如果需要的重要功能不在这些软件包里，那就要自己去寻找了。许多Python内置软件包与Python的习惯用法有着密切的关系，所以实际上已经成了语言规范的一部分。本书篇幅有限，不可能把所有的标准模块全都讲一遍，但会涵盖其中那些需要了解和使用且用法比较关键的模块。

●第1章：培养 Pythonic 思维

Python开发者社区用Pythonic这个形容词来描述具有某种特定风格的代码。这种风格是大家在使用Python语言编程并相互协作的过程中逐渐形成的。本章讲解如何采用这样的风格编写常见的Python代码。

●第2章：列表与字典

在Python语言中整理信息时，最常用的方法是把一系列数值保存到列表（list）中。既然有列表，那就有另外一种跟它互补的结构，也就是字典（dict），这种结构可以把它存储的查找键映射到对应的值上。本章讲解如何采用这些数据结构来编写程序。

●第3章：函数

Python中的函数具备多种特性，这有助于简化编程工作。Python函数的某些性质与其他编程语言中函数的类似，但也有一些是Python独有的。本章介绍如何使用函数来表达开发者的意图，如何让代码更容易复用，以及如何减少bug。

●第4章：推导与生成

Python有一种特殊的语法，可以迅速迭代列表（list）、字典（dict）与集合（set），并据此生成相应的数据结构，这让我们能够在函数返回的这种结构上逐个访问根据原结构所派生出来的一系列值。本章讲解怎样利用这种机制来提升程序效率并降低内存用量，同时让代码变得更容易读懂。

●第5章：类与接口

Python是面向对象的语言。用Python编程时，经常要编写新的类，而且还要定义这些类应该如何通过其接口以及继承体系与其他代码相交互。本章讲解怎样使用类来表达对象所应具备的行为。

●第 6 章：元类与属性

元类（metaclass）与动态属性（dynamic attribute）都是很强大的Python特性，但它们也有可能会让程序出现古怪的行为与意外的效果。本章讲解这些机制的习惯用法，确保读者写出来的代码遵循最小惊讶原则（rule of least surprise）。

●第7章：并发与并行

用Python很容易写并发程序，这种程序可以在同一时刻做许多件不同的事情。Python也可以通过系统调用、子进程以及C语言扩展来实现并行处理。本章介绍这些Python特性应该用在什么情况下。

●第8章：稳定与性能

Python内置了一些功能与模块，可以让程序变得更加可靠。另外，Python还提供了一些工具，可以让我们轻松地提升程序的性能。本章讲解怎样用Python优化程序，让这些程序在正式的运行环境中表现得更加稳定、更加高效。

●第 9 章：测试与调试

不管使用哪种语言编程，我们都应该把写出来的代码测试一下。但对于Python来说，还有个特殊的问题，那就是它所提供的动态机制可能会增加程序在运行时出现错误的风险。好在Python也让我们可以比较容易地编写测试代码和故障诊断程序。本章讲解怎样用Python内置的工具来测试并调试程序。

●第 10 章：协作开发

如果许多人要协作开发一个Python程序，那就得仔细商量代码的写法了。即便你只是一个人开发，也需要了解如何使用其他人所写的模块。本章介绍标准的工具以及业界总结出来的最佳方法，告诉大家怎样协作开发Python程序。

【获取源代码及勘误表】

微信关注“华章计算机”，回复“67402”，可免费获取本书源代码下载地址，并加入读者交流群。拿到范例代码之后，可以抛开书中讲解代码的那些内容，单独把这个完整的程序运行一遍，你可以用这些代码做实验，并试着理解程序为什么会这样运行。

●第1章　培养Pythonic思维　// 1

第1条　查询自己使用的Python版本　// 1

第2条　遵循PEP 8风格指南　// 2

第3条　了解bytes与str的区别　// 5

第4条　用支持插值的f-string取代C风格的格式字符串与str.format方法　// 9

第5条　用辅助函数取代复杂的表达式　// 19

第6条　把数据结构直接拆分到多个变量里，不要专门通过下标访问　// 21

第7条　尽量用enumerate取代range　// 25

第8条　用zip函数同时遍历两个迭代器　// 26

第9条　不要在for与while循环后面写else块　// 28

第10条　用赋值表达式减少重复代码　// 31

●第2章　列表与字典　// 37

第11条　学会对序列做切片　// 37

第12条　不要在切片里同时指定起止下标与步进　// 40

第13条　通过带星号的unpacking操作来捕获多个元素，不要用切片　// 42

第14条　用sort方法的key参数来表示复杂的排序逻辑　// 45

第15条　不要过分依赖给字典添加条目时所用的顺序　// 51

第16条　用get处理键不在字典中的情况，不要使用in与KeyError　// 56

第17条　用defaultdict处理内部状态中缺失的元素，而不要用setdefault　// 61

第18条　学会利用__missing__构造依赖键的默认值　// 63

●第3章　函数　// 66

第19条　不要把函数返回的多个数值拆分到三个以上的变量中　// 66

第20条　遇到意外状况时应该抛出异常，不要返回None　// 69

第21条　了解如何在闭包里面使用外围作用域中的变量　// 71

第22条　用数量可变的位置参数给函数设计清晰的参数列表　// 75

第23条　用关键字参数来表示可选的行为　// 77

第24条　用None和docstring来描述默认值会变的参数　// 80

第25条　用只能以关键字指定和只能按位置传入的参数来设计清晰的参数列表　// 83

第26条　用functools.wraps定义函数修饰器　// 88

●第4章　推导与生成　// 91

第27条　用列表推导取代map与filter　// 91

第28条　控制推导逻辑的子表达式不要超过两个　// 93

第29条　用赋值表达式消除推导中的重复代码　// 94

第30条　不要让函数直接返回列表，应该让它逐个生成列表里的值　// 97

第31条　谨慎地迭代函数所收到的参数　// 100

第32条　考虑用生成器表达式改写数据量较大的列表推导　// 104

第33条　通过yield from把多个生成器连起来用　// 106

第34条　不要用send给生成器注入数据　// 108

第35条　不要通过throw变换生成器的状态　// 113

第36条　考虑用itertools拼装迭代器与生成器　// 117

●第5章　类与接口　// 122

第37条　用组合起来的类来实现多层结构，不要用嵌套的内置类型　// 122

第38条　让简单的接口接受函数，而不是类的实例　// 128

第39条　通过@classmethod多态来构造同一体系中的各类对象　// 131

第40条　通过super初始化超类　// 136

第41条　考虑用mix-in类来表示可组合的功能　// 140

第42条　优先考虑用public属性表示应受保护的数据，不要用private属性表示　// 144

第43条　自定义的容器类型应该从collections.abc继承　// 149

●第6章　元类与属性　// 153

第44条　用纯属性与修饰器取代旧式的setter与getter方法　// 153

第45条　考虑用@property实现新的属性访问逻辑，不要急着重构原有的代码　// 157

第46条　用描述符来改写需要复用的@property方法　// 160

第47条　针对惰性属性使用__getattr__、__getattribute__及__setattr__　// 165

第48条　用__init_subclass__验证子类写得是否正确　// 170

第49条　用__init_subclass__记录现有的子类　// 177

第50条　用__set_name__给类属性加注解　// 181

第51条　优先考虑通过类修饰器来提供可组合的扩充功能，不要使用元类　// 185

●第7章　并发与并行　// 191

第52条　用subprocess管理子进程　// 192

第53条　可以用线程执行阻塞式I/O，但不要用它做并行计算　// 195

第54条　利用Lock防止多个线程争用同一份数据　// 199

第55条　用Queue来协调各线程之间的工作进度　// 202

第56条　学会判断什么场合必须做并发　// 210

第57条　不要在每次fan-out时都新建一批Thread实例　// 214

第58条　学会正确地重构代码，以便用Queue做并发　// 218

第59条　如果必须用线程做并发，那就考虑通过ThreadPoolExecutor实现　// 224

第60条　用协程实现高并发的I/O　// 226

第61条　学会用asyncio改写那些通过线程实现的I/O　// 230

第62条　结合线程与协程，将代码顺利迁移到asyncio　// 239

第63条　让asyncio的事件循环保持畅通，以便进一步提升程序的响应能力　// 245

第64条　考虑用concurrent.futures实现真正的并行计算　// 248

●第8章　稳定与性能　// 253

第65条　合理利用try/except/else/finally结构中的每个代码块　// 253

第66条　考虑用contextlib和with语句来改写可复用的try/finally代码　// 258

第67条　用datetime模块处理本地时间，不要用time模块　// 262

第68条　用copyreg实现可靠的pickle操作　// 265

第69条　在需要准确计算的场合，用decimal表示相应的数值　// 272

第70条　先分析性能，然后再优化　// 274

第71条　优先考虑用deque实现生产者-消费者队列　// 278

第72条　考虑用bisect搜索已排序的序列　// 284

第73条　学会使用heapq制作优先级队列　// 286

第74条　考虑用memoryview与bytearray来实现无须拷贝的bytes操作　// 294

●第9章　测试与调试　// 300

第75条　通过repr字符串输出调试信息　// 301

第76条　在TestCase子类里验证相关的行为　// 304

第77条　把测试前、后的准备与清理逻辑写在setUp、tearDown、setUpModule与tearDownModule中，以防用例之间互相干扰　// 309

第78条　用Mock来模拟受测代码所依赖的复杂函数　// 312

第79条　把受测代码所依赖的系统封装起来，以便于模拟和测试　// 319

第80条　考虑用pdb做交互调试　// 322

第81条　用tracemalloc来掌握内存的使用与泄漏情况　// 326

●第10章　协作开发　// 329

第82条　学会寻找由其他Python开发者所构建的模块　// 329

第83条　用虚拟环境隔离项目，并重建依赖关系　// 330

第84条　每一个函数、类与模块都要写docstring　// 335

第85条　用包来安排模块，以提供稳固的API　// 339

第86条　考虑用模块级别的代码配置不同的部署环境　// 344

第87条　为自编的模块定义根异常，让调用者能够专门处理与此API有关的异常　// 346

第88条　用适当的方式打破循环依赖关系　// 350

第89条　重构时考虑通过warnings提醒开发者API已经发生变化　// 355

第90条　考虑通过typing做静态分析，以消除bug　// 361