集成测试复杂度的挑战
1. 饿了么使用面向服务的架构（Service-oriented architectures， SOA）
和Thrift 来构建基础的服务
2. SOA 和Thrift间相互调用
随着模块的增加，这些测试分支的组合，将会呈现几何级的增长
3.异地多活
复杂的路由规则
项目中人员之间沟通复杂度的挑战
1.开发跟测试之间的接口变动挑战
2.前段开发工程师跟后端开发工程师的接口变动挑战
3.相互依赖的项目之间的接口变动挑战
4.各业务线各自测试，Mock提供方的接口
5.多路由规则的挑战
项目中人员之间沟通复杂度的解决方案
1.即时的扫描代码，把接口的变动通知给测试，开发和前端
2.自动的回归相关源码变动的APP，回归完后将结果通知本项目中的所有人员
3.回归项目中有相互接口依赖的所有的APP，回归完后将结果通知本项目及涉及项目的所有人员
主要的策略，将变动通过邮件的方式，由之前的没有变动提醒，变为主动推送让项目中的人员及时的了解接口的变化
测试人员的效率的挑战
1.黑盒测试人员做不了白盒测试人员的事情
2.好的白盒人员市场上很难招聘到
3.测试人员很难及时跟上开发的变动，对接口进行全面的回归
4.接口的覆盖场景是否全面
5.不同项目间的测试人员的沟通和交流
6.缺少自动化的工具来辅助测试人员测试多路由
7.缺少对接口的等级划分
测试人员的效率的解决方案
1.让黑盒人员可以做白盒测试人员的事情（可视化的API的测试工具）
2.针对接口测试引入代码覆盖率，来衡量API的接入质量
3.将开发编写的文档，自动化扫描接口，让测试人员可以明确的知道每一个API的用途，及每一个参数的意义
4.提供手工组装API的Case，和通过HAR批量的生成Case的功能
5.提供了基于Log批量生成SOA接口的功能
6.旧有的Case移植的问题，通过提供SDK，让有代码编写能力的，继续编写代码进行测试
7.提供SOA和Thrift的可视化测试工具且不需要他们编写代码，像业务人员录入订单一样，只需要填入参数便可进行接口测试
8.尽可能多的移除业务上Mock，多增加分层系统的Mock
9. 80 20 法则，80%的问题出在20%的代码上，如果识别这20%的代码对应的接口上
API的接入步骤-手工组装
API的接入步骤-批量生成
如何动态的测试SOA-SOA设计
基于Log的 SOA接口-批量生成
如何动态的测试Thrift
通过日志生成Case的可复用率
如何提高通过日志生成Case的可复用率
随机测试的流程
通过代码覆盖率来评定测试用例
1.类的覆盖率，方法的覆盖率，语句的覆盖率，分支的覆盖率
2.比较覆盖率
通过代码覆盖率来筛选有效Case
代码覆盖率跟bug的关系
如何识别关键接口-被依赖
如何识别关键接口-依赖其它应用
静态工具和动态的工具结合
1.Swagger
2.Jacoco
多样化的完善和补充接口方法
1.随机测试
2.基于ELK的日志测试
随机测试的理论和方法
1.蒙特卡罗方法或算法
Monte Carlo algorithm will return an answer that is not necessarilycorrect within a reasonable amount of time
2.拉斯维加斯
Las Vegas algorithm may take infinite time to compute an answer, butthe answer is guaranteed to be correct.
随机测试
随机测试的工具
1.JCrasher https://code.google.com/archive/p/jcrasher/
2.Jartege http://www.eecs.ucf.edu/~leavens/JML//index.shtml
http://www.openjml.org/documentation/
3.Eclat
4.Randoop https://randoop.github.io/randoop/manual/index.html
5.QuickCheck https://github.com/nick8325/quickcheck
6.AutoTest https://github.com/autotest
7. TestEra
8. Korat
基于ELK的日志测试
1. https://github.com/SkeltonThatcher/event-tracing-demo
安全性的挑战
1.系统部署了多少端口，多少个的服务
2.测试人员是否进行过安全性的测试
流程的标准化
1.有无统一的Case管理和维护流程
2.有无统一的工作流程
3.有无统一的测试账号管理工具
4.有无统一的测试数据生成工具
5.有无统一的项目提测流程
自动化
1.自动化的回归
2.自动化的分发和执行
3.自动化的报告
框架的发展及规划
