Web测试囧事

着重讲解Web测试中可能遇到的各种问题以及思考和解决思路。第1～4章，重点介绍了Web测试中为关键的功能测试，并从开发和测试技术、测试覆盖率、测试实践和业务需求4个方面分析了功能测试中Bug产生的原因及其解决思路。第5、6章详细介绍在Web测试中安全和性能测试实践，从思维和实践两个维度讲解。第7章详细介绍在进行Web自动化测试过程中你可能遇到的各种问题，以及应对策略。第8章详细介绍移动Web测试需要进行的实践与测试思路调整。第9章介绍了非功能性的其他测试。第10章通过介绍在需求澄清、测试环境管理和运维中的测试实践，阐述如何通过这几方面的测试活动提升产品质量。

黄勇，现任ThoughtWorks中国区QA Lead。2006年天津大学计算机科学与技术专业本科毕业，毕业后先后任职于博彦科技，普华永道GTS和ThoughtWorks； 始终关注于新的技术和业界趋势，不停汲取新的知识和实践，同时热衷于分享。曾出版《移动App测试的22条军规》（人民邮电出版社）。合作组织和创办了北京软件质量大会BQConf，作为主演嘉宾参加了第1、2、13和17届BQConf。作为演讲嘉宾参与2015移动无线测试技术大会。作为质量分析师，先后工作在Oracle，微软，普华永道，澳洲电信等多家公司的大型项目上。积累了丰富的实战经验和团队管理经验。

为什么要写这本书1）人不能像走兽那样活着，应该追求知识和美德。——但丁2）助人为乐，人生一美德。
我们4个作者加起来年龄过百，而且有着年超半百的工作经验，算起来也是测试领域的老鸟了。
根据上面的1）和2），我们得出一个很重要的结论：
经过这么多年在工作中不断总结经验，时不时与Bug斗智斗勇，最后提炼出来的经验，我们希望能分享给更多的人，更重要的是能抛砖引玉，引发对更优秀的工作方式和实践的思考。
为什么需要看这本书怎样判断你是否需要这本书？以下场景，如果8条以内你都似曾相识，那么请看这本书吧！
1）测试过程中，某个功能的测试除了依据需求文档编写测试用例，好像找不到别的测试点了。
2）按需求文档编写的测试用例，执行过后测试都通过了，但自己还是没有信心，总觉得还有没测到的地方。就像都出门了，还在怀疑自己究竟是否锁门了。
3）产品上线了，Bug出来了。为什么老是遗漏？4）当前测试的功能怎么和之前项目的很相似，当时还发现了一个很有意思、很难发现的问题，可现在居然想不起来了。接着，又重新慢慢摸索。要是有记录可以翻查多好！
5）发现一个Bug，提交请求修复时，却被要求提供更多信息。更多信息？怎么提供，不知道，找不着，没头绪。
6）团队其他测试人员遇到技术问题，我却只能抓耳挠腮，无法提供更多帮助，怎么办？7）分析测试进度和风险时，文档是写了，内容却无关痛痒。问题的实质在哪里？貌似离我有点远。
8）开发过程中，不知道自己编写的代码质量怎样，哪些Bug会变身为“大笑话”。
你符合哪一条或者哪几条？这本书到底写了些什么归根结底：总结工作中发现、解决Bug的经验，并通过一个个活生生的故事描述出来，能让你开拓思维、唤起记忆、深入知识、学以致用，把这些经验积累的精华举一反三地运用到自己的项目中。
本书特色以大型购物网站Web测试为背景场景，以初入测试领域的小蔡为主人公，以功能测试、性能测试、安全性测试、自动化测试、移动Web测试、非功能性测试以及其他类型的测试为主线，向大家展示不同测试场景下，如何发现、分析并解决问题。
本书通过对故事的分析，引出缺陷出现的规律和模式，并通过对缺陷模式的总结和抽象化，提示大家在以后的测试中如何更高效地捕捉类似缺陷。
本书并没有详细描述如何通过对Bug的分析发现开发人员的开发模式，以避免缺陷。所以，如何预防开发人员编写存在缺陷的代码，帮助他们了解自己的弱点，使之有针对性地提高，就需要读者们从这一个个小故事中“悟”。
读者对象测试工程师测试经理业务分析师产品经理系统架构师其他对测试技术感兴趣的人员如何阅读本书本书着重讲解Web测试中可能遇到的各种问题以及思考和解决思路，包括以下10章内容。
第1～4章　这4章重点介绍了Web测试中最为关键的功能测试，并从开发和测试技术、测试覆盖率、测试实践及业务需求4个方面分析了功能测试中Bug产生的原因及其解决思路。
第5、6章　详细介绍在Web测试中安全和性能测试要怎么做，作为一个非专业安全/性能测试的人员，从思维和实践上如何进行安全和性能测试。
第7章　详细介绍在进行Web自动化测试过程中你可能遇到的各种“坑”，以及如何应对和预防。
第8章　详细介绍了在移动应用迅猛发展的浪潮下 ，针对移动Web测试我们需要进行什么样的调整。
第9章　介绍了非功能性的其他测试，例如可用性测试及本地化和全球化测试是如何运用在项目中，保证产品质量的。
第10章　通过介绍在需求澄清、测试环境管理和运维中的测试实践，阐述如何通过这几方面的测试活动提升产品质量。
附录A介绍了可以移植到更多项目中的Web测试优秀实践，附录B为广大测试人员展现了可以大展宏图的职业路径。
希望读者在开始阅读本书之前，已具备基础的测试理论知识。在阅读中，希望读者能在阅读完每一个故事后，留给自己一点时间重新审视故事的内容，想一想故事中的场景与自己工作中的相似之处，触类旁通地解决类似的问题或者运用相应的实践进行质量提升。
勘误和支持由于笔者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果你有更多的宝贵意见，欢迎通过邮箱[email protected]联系我们，期待能够得到你的真挚反馈，在技术之路上互勉共进。
致谢我们要特别感谢师洁以及ThoughtWorks中国区的QA们，也要感谢机械工业出版社华章公司的策划编辑高婧雅在写作上的支持与鼓励。
谨以此书献给我们最亲爱的家人，没有你们的鼓励和支持，我们就不会这么全身心地投入到本书的创作。
最后感谢购买和阅读本书、热爱测试技术的朋友们！
黄勇　雷辉　徐潇　杨雪敏
Preface?序　一几个月前，机械工业出版社华章公司的高婧雅找我，扔给我一个章节，说是黄勇团队的新书，让我帮忙看看。我当时是一口气看完，还意犹未尽地问高姐，还有没有其他的。我是有惊喜到的。这行文的风格让我想起了另外一本书——《Ruby元编程》，一本非常有趣的技术书。当时我就想等到黄勇的书问世，会又多了一本类似的书。
我看的技术书不多，软件测试相关的书籍就更少了，主要的原因是过于枯燥，要么是长篇的理论，要么就是不入流的翻译，更多的是工具书，通常会在用到的时候才去翻一翻。而对于黄勇这本书，我感觉我会愿意带在身边，在地铁上翻翻，在咖啡间读读。能把软件测试的理论实践写成了一个个软件测试工程师亲身经历的故事，黄勇应该是首创，其生动有趣又不乏思考。
在那之后，我常常会问高姐这本书的进度，因为我非常想把这本书分享给我们 TesterHome 的成员们。上个礼拜，黄勇在微信上找我，我想这书成了。黄勇给我4个章节，这次我没有一下看完，而是一篇篇仔细研读。小故事（实际案例）提取出“核心知识点”，再延伸到“拓展知识点”，给人一种身临其境的感觉，好像在做这项测试的就是读者自己。作者在案例的选择上非常用心，典型又不失新意，浅显又不乏深意。提炼出来的核心知识点简约严谨，针对性强，不拖泥带水。“拓展知识点”类似语文课本里的课后阅读。
粗略看了下目录，该书涉及了网页应用的功能、安全、性能、自动化等测试内容，也涉猎了移动端相关的实践。从我看的内容来看，非常适合有一两年软件测试经验的读者阅读，在此也欢迎大家来 TesterHome 社区多写书评。（“无耻”的广告，真想拉黄勇做一波赠书的活动。）软件测试圈里不缺各种严肃的学院派书籍，也不缺各种实干派的工具书，前者还好，后者往往是从事软件测试的IT人员写的，这种书普遍有个特点就是文笔不好，行文生硬刻板，读起来毫无趣味。我一直非常固执地认为，书一定是要有笔力的人写出来才好，我看过黄勇的博客，这次再看到这些章节，我认为从文笔上来说，这是本合格的书。
读书容易写书难，一字一句费思量，希望软件测试工作者能好好珍惜这本书。
——张立华（恒温），TesterHome社区发起人，阿里口碑高级测试工程师Preface?序　二2006年开始软件测试的生涯，记得当时讲软件测试的书并不多，有几本比较好的书也是从国外引进翻译来的。十多年过去了，从一开始做PC端的应用程序的功能测试，到后来做Web系统的自动化测试，目前在互联网公司负责电商业务后台系统的持续集成方案。期间经历了软件测试行业的不断发展，测试工程师的职责和作用也在不断发生着变化，对测试工程师的要求也越来越高。
想要成为一名合格的测试工程师，入门首先需要具备基本的软件测试理论基础；要能开展工作，就必须要了解所在行业的业务背景知识；要想更多地发现缺陷和更准确地定位缺陷，还要学习Web系统或移动应用相关技术知识；想更进一步，全面提升软件质量，就需要从代码、功能、安全、性能和易用性多个层面去着手。本书是一本难得的涉及以上所有这些知识和技能的著作，通过案例教学的方式生动地再现了真实的工作场景，从实际案例场景引发读者思考，又由思考激发读者对相关知识和技能的学习兴趣，通过这样一个又一个的学习旋转式上升，引导读者逐层深入，逐步窥探到做一名合格软件测试工程师所需的知识与技能图谱。
现在很多的互联网企业里，大都会有软件测试工程师和测试开发工程师两种角色。那么他们都是为软件质量负责的吗，区别又在哪里呢？软件测试工程师更加偏重于测试，比如功能测试、性能测试、安全测试，等等；而测试开发工程师更加偏重于开发，包含自动化测试框架开发、性能测试工具开发、安全测试工具开发与其他质量与效率的工具开发等。产生这两种分工的原因在于互联网企业对速度的追求，要达到快速交付、快速收集与反馈、快速进入下一个迭代，那么就需要在提升效率上下一番工夫，这时候就可以通过应用一些开源工具或者自研工具来提升测试阶段乃至整个研发阶段的效率。了解到这两种角色的职责和作用，那么我们软件测试从业者在自己的职业发展生涯中就能够找准自己的方向，不断提升自己的技术能力和业务能力。
黄勇老师目前所在的ThoughtWorks公司是把敏捷思想引入中国的先驱，在敏捷软件开发和敏捷测试理论的落地方面处于行业领先地位。敏捷软件开发思想进一步拓展了作为软件测试工程师的职责范围，敏捷思想鼓励职责模糊，整个团队都要为质量负责，而不只是软件测试工程师；鼓励团队成员在软件开发全过程中参与软件质量的保证，而不只是等开发阶段完成以后再开始关注质量；提倡持续交付和自动化测试，通过整个软件开发流程的自动化来提升软件交付效率。那么在这样的一种思想指导下，软件测试工程师就可以做更多的工作，比如参与到需求阶段，通过实例化需求和BDD（行为驱动开发）的方式来使需求对技术人员而言更易懂、自动化和友好；也可以参与到软件开发阶段，通过构建持续代码扫描机制来提升代码的质量；还可以参与到运维发布阶段，通过构建持续交付的流水线来实现产品的快速发布。
随着IT行业的发展，软件测试也跟着从一开始的PC端应用程序测试，到Web应用程序测试，再到移动互联网测试。这样对软件测试工程师的要求也不同了，本书通过案例的形式讲解了在Web应用程序测试和移动互联网测试中遇到的一些问题与处理方法。我看完本书以后，问黄勇老师“这些案例都是真实的吗？”黄勇老师说都是真实的案例。通过在日常软件测试工作中发现的一些有意思的缺陷的收集，进一步分析产生该缺陷的前因后果，并且给出发现该缺陷所用到的关键技能和知识。这种趣味性和知识性兼备的方式，吸引着我一口气看完了全书，看到一些似曾相识的案例时，也不由得会心一笑。非常希望我们软件测试行业能有更多这样的好书。
——熊志男，测试窝测试社区创始人，京东商城高级测试开发工程师Preface序　三随着中国软件行业的发展，在IT和互联网技术的广泛应用、用户对产品质量有了更高追求的推动下，中国的软件测试行业在最近几年也有了飞速的发展。与第一代软件测试人员是从经验丰富的程序员直接转岗不同，从各大高校的软件工程、计算机相关专业招聘软件测试工程师（即校招）已经变成了各大公司的主要途径。由于大多数学校里并没有成体系的软件测试的课程，很多同学对软件测试这个岗位也并不是十分的了解，甚至有时候选择软件测试的原因是工作相对轻松或者其代码能力达不到程序员的要求等。
大量的新手进入软件测试行业后，中小公司内部相对比较缺乏专业技术培训和正确的引导，频繁且重复的黑盒测试执行工作使很多测试新人觉得软件测试是一个没有技术含量也没有前途的工作。然而，软件测试其实是一个很依赖于经验的岗位，有丰富产品测试经验和对产品实现有深入理解的测试工程师就像一位大师，往往能在短时间内发现和定位一个问题并提出建议的解决方案。对有志于投身软件测试领域和仍然处在入门阶段的初学者来说，市面上多数的书籍偏理论化，阅读起来枯燥乏味，在实际项目中又无法落地，更谈不上进阶为高手了。就像《后会无期》里的那句话，“听过很多道理，却依然过不好这一生。”
黄勇是行业内资深的质量分析师，拥有多年软件测试背景，他善于分析归纳和总结经验，并且总会用通俗、轻松的语言来讲述枯燥的技术知识。上一次他的《移动App测试的22条军规》一书通过22条来自于测试实战中的最佳实践展示了移动App测试中心思想，这次他总结了Web测试过程中常见的测试类型和常见问题，把Web测试的核心知识点、扩展知识点与实际的测试任务结合起来，通过测试新人小蔡遇到的一个个真实的场景和案例，让读者学有所得，并引发思考。
很高兴黄勇愿意用一本书来分享他在Web测试领域的心得，这是一本用心写就的书，也希望每一位读者用心去学习、去思考、去实践，借鉴前辈们的经验快速地成长，享受学习带来的快乐。
——陈永康，网龙网络公司软件测试总监

序一
序二
序三
前言
第1章　功能测试：技术篇　┆1
1.1　输入框中输入超过最大允许值造成页面跳转溢出　┆2
1.2　索引值计算错误使资源缩略图显示和大图展现不一致　┆5
1.3　测试Web Service能否正常提供JSON数据　┆8
1.4　利用JavaScript加载的漏洞提前购买抢购商品　┆11
1.5　过长的控件名称造成其他元素显示错位　┆14
1.6　多次操作本该禁用的页面组件造成服务器出错　┆17
1.7　页面跳转后出现HTTP 400错误　┆19
1.8　使用没有添加时间戳的缓存使用户看到过期数据　┆21
1.9　代理服务器过度缓存文件导致读取错误的账号信息　┆24
1.10　多余的空格造成服务器被删除　┆25
1.11　IE 9不支持占位符导致搜索行为异常　┆27
1.12　小结　┆29
第2章　功能测试：测试覆盖篇　┆30
2.1　设计测试时对需求分析不透彻导致给予用户错误的折扣　┆30
2.2　页面字段依赖导致表单提交时出错　┆36
2.3　修改产品代码时忽视了对遗留数据的处理　┆38
2.4　基础代码的改动影响到了其他相关产品，造成程序出错　┆41
2.5　异常场景处理不全面导致功能缺陷　┆43
2.6　时区不一致造成邮件发送异常　┆47
2.7　多入口功能的特殊处理造成的Bug　┆50
2.8　小结　┆52
第3章　功能测试：测试实践篇　┆53
3.1　修改充值金额范围遗漏的产品Bug　┆53
3.2　针对UI设计稿的测试思路　┆56
3.3　前后台分离测试时需要注意测试隔离　┆59
3.4　账号关联过的手机号会一直收到短信验证码　┆64
3.5　提高测试效率的一个捷径　┆67
3.6　缺陷VS功能　┆70
3.7　关于一次缺陷大扫除的结果分析　┆73
3.8　小结　┆75
第4章　功能测试：业务需求篇　┆76
4.1　图片轮播的自动播放和手动播放冲突　┆77
4.2　删除账号造成购买记录中出现空白记录　┆79
4.3　产品使用本机时间造成用户不用付费　┆80
4.4　注册和登录功能限制输入不一致导致功能错误　┆82
4.5　复制图片可以绕过对添加图片大小、数量、格式的限制　┆84
4.6　小结　┆86
第5章　安全性测试　┆87
5.1　链接格式暴露安全隐患　┆87
5.2　细剖如何用OWASP TOP 10补“洞”　┆90
5.3　前台修改JavaScript可以输入超限字符　┆99
5.4　页面没有屏蔽用户执行JavaScript代码导致XSS攻击　┆101
5.5　过度暴露服务器信息也会造成安全问题　┆103
5.6　日志中的信息泄露　┆105
5.7　打开陌生网页后，我在网站上存储的信息丢失了　┆108
5.8　包含在受限PDF里的缩略图权限不受限制　┆110
5.9　小结　┆111
第6章　性能测试　┆112
6.1　性能测试脚本无法使用了　┆112
6.2　错误的HTTP状态码增加了服务器的负担　┆117
6.3　不需要模拟用户的操作步骤进行性能测试　┆118
6.4　服务器端没有考虑分页而导致的性能问题　┆120
6.5　服务器端压力测试　┆122
6.6　前端性能测试的思考点和两个工具　┆128
6.7　小结　┆132
第7章　自动化测试　┆133
7.1　自动化新手入坑，测试数据管理　┆134
7.2　本地环境正常运行，在测试环境执行就出问题了　┆137
7.3　编写自动化测试时需要考虑投入产出比　┆140
7.4　测试框架和工具选型也需要考虑Debug　┆144
7.5　自动化测试框架选型调研需要使用复杂场景　┆147
7.6　使用Mock导致漏测很多真实环境的场景　┆149
7.7　开发UI自动化测试技巧锦集　┆151
7.8　小结　┆158
第8章　移动Web测试　┆159
8.1　测试多选框　┆159
8.2　移动网页的左右旋转不一致　┆163
8.3　移动设备碎片化使移动端网页测试更加困难　┆165
8.4　测试关键字输入框　┆168
8.5　移动网页上过长的下拉菜单　┆172
8.6　字符集不同导致显示乱码　┆174
8.7　重现一个让手机App崩溃的线上Bug　┆177
8.8　小结　┆179
第9章　非功能性测试　┆180
9.1　搜索结果为单数时仍显示复数名词　┆181
9.2　辅助功能引发的法律风险　┆182
9.3　辅助功能和键盘用户的冲突：快捷键的顺序问题　┆185
9.4　网站国际化和本地化测试中碰到的问题　┆186
9.5　过度本地化快捷键　┆189
9.6　小结　┆192
第10章　其他类型的测试　┆193
10.1　意料之外的用户操作　┆194
10.2　数据元素应该支持增删改查　┆197
10.3　为什么要关注测试环境之间的差异　┆198
10.4　产品环境和测试环境之间基础设施的差异造成的问题　┆201
10.5　大小写造成的部署出错　┆203
10.6　集成和系统测试时使用真实手机号　┆206
10.7　一个由A/B测试引出的Bug　┆207
10.8　隐身的特殊字符　┆209
10.9　邮件发送不出去了　┆213
10.10　广告条在三种浏览器上崩溃了　┆216
10.11　小结　┆218
附录A　敏捷测试中的Web测试优秀实践　┆219
附录B　测试人员职业发展之路　┆224