安全测试
- 软件权限
- 扣费风险：包括发送短信，拨打电话，连接网络等
- 隐私泄漏风险：包括访问手机信息，访问联系人信息等
- 对APP的输入有校验，认证，授权，敏感数据储存，数据加密等方面进行校验
- 限制/允许使用手机功能接人工互联网
- 限制/允许使用手机发送接收信息功能
- 限制/允许应用程序来注册自动启动应用程序
- 限制或使用本地连接
- 限制/允许使用手机拍照或录音
- 限制/允许使用手机读取用户数据
- 限制/允许使用手机写人用户数据
- 检测APP的用户授权级别，数据泄漏，非法授权访问等
- 安装与卸载安全性
- 应用程序应能正确安装到设备驱动程序上
- 能够在安装设备驱动程序上找到应用程序的相应图标
- 是否包含数字签名信息
- JAD文件和JAR包含的所有托管属性及其值必须是正确的
- JAD文件显示的资料内容与应用程序显示的资料内容应一致
- 安装路径应能指定
- 没用用户的允许，应用程序不能预先设定自动启动
- 卸载是否安全，其安装进去的文件是否全部卸载
- 卸载用户使用过程中产生的文件是否有提示
- 其修改的配置信息是否复原
- 卸载是否影响其他软件的功能
- 卸载应能移除所有的文件
- 数据安全性
- 当将密码或其他的敏感数据输入到应用程序时，其不会被储存在设备中，同时密码也不会被解码
- 输入的密码将不以明文形式进行显示
- 密码，信用卡明细，或其他的敏感数据将不被储存在他们预输入的位置上
- 不同的应用程序的个人身份证或密码长度必须至少在4—8个数字长度之间
- 当应用程序处理信用卡明细，或其他的敏感数据时，不以明文形式将数据写到其他单独的文件或者临时文件中
- 防止应用程序异常终止而又没有删除它的临时文件，文件可能遭受入侵之的袭击，然后读取这些数据信息
- 当将敏感数据输入到应用程序时，其不会被储存在设备中
- 备份应该加密，恢复数据应考虑恢复过程中的异常通讯中断等，数据恢复后再使用前，应该经过校验
- 应用程序应考虑系统或者虚拟机器产生的用户提示信息或者安全警告
- 应用程序不能忽略系统或者虚拟机器产生的用户提示信息或安全警告，更不能在安全警告显示前，利用显示误导信息欺骗用户，应用程序不应该模拟进行安全警告误导用户
- 在数据删除之前，应用程序应当通知用户或者应用程序提供一个“取消”命令的操作
- “取消”命令操作能够按照设计要求实现其功能
- 应用程序应当能够处理但不允许应用软件连接到个人信息管理的情况
- 当进行读或写用户操作时，应用程序将会向用户发送一个操作失误的提示信息
- 在没有用户明确许可的前提下不损坏删除个人信息管理应用程序中的任务内容
- 应用程序读和写数据正确
- 应用程序应当有异常保护
- 如果数据库中重要的数据正要被重写，应及时告知用户
- 能合理的处理出现的错误
- 意外情况下应提示用户
- 通讯安全性
- 在运行其软件过程中，如果有来电，SMS，EMS，MMS，蓝牙，红外等通讯或充电时，是否能暂定程序，优先处理通讯，并在处理完毕后能正常回复软件，继续其原来的功能
- 当创立链接时，应用程序能够处理因为网络链接中断，进而告知用户连接中断的情况
- 应能处理通讯延时或中断
- 应用程序将保持工作到通讯超时，进而发送给用户一个错误信息指示有连接错误
- 应能处理网络异常和及时将异常情况通报用户
- 应用程序关闭或者网络连接不再使用应及时关闭，断开
- HTTP，HTTPS覆盖测试
- APP和后台服务一般都是通过HTTP来交互的，验证HTTP环境下是否正常
- 公共免费网络环境中（如：麦当劳，星巴克等）都要输入用户名和密码，通过SSL认证来访问网络，需要对使用HTTP Client的library异常作捕获处理
- 人机接口安全性
- 返回菜单总保持可用
- 命令有优先权顺序
- 声音的设置不影响应用程序的功能
- 应用程序必须利用目标设备适用的全屏尺寸来显示上述内容
- 应用程序必须能够处理不可预知的用户操作，例如错误的操作，和同时按下多个键
安装卸载测试
- 安装
- 软件在不同操作系统（Palm OS，Symbian，Linux，Android，iOS，black berry OS 6.0，windows）下安装是否正常
- 软件安装后的是否能够正常运行，安装后的文件夹文件是否写到了指定目录里
- 软件安装各个选项的组合是否符合概要设计说明
- 软件安装向导的UI测试
- 软件安装过程中是否可以取消，点击取消后，写入的文件是否如概要设计说明处理
- 软件安装过程中意外情况的处理是否是符合需求（如：死机，重启，断电）
- 安装空间不足时是否有相应提示
- 安装后没有生成多余的目录结构和文件
- 对于需要通过网络之类的安装，在断网情况下尝试下
- 还需要对安装手册进行测试，依照安装手册是否能够顺利安装
- 卸载
- 直接删除安装文件夹卸载是否有提示信息
- 测试系统直接卸载程序是否有提示信息
- 测试卸载后文件是否全部删除所有安装文件夹
- 卸载过程中出现的意外情况的测试（如：死机，重启，断电）
- 卸载是否支持取消功能，单击取消后软件卸载的情况
- 系统直接卸载UI测试，是否有卸载状态进度条显示
UI 测试
- 导航测试
- 按钮，对话框，列表和窗口等，或在不同的页面之间需要导航
- 是否易于导航，导航是否直观
- 是否需要搜索引擎
- 导航帮助是否准确直观
- 导航帮助是否准确直观
- 导航与页面结构，菜单，连接页面的风格是否一致
- 图形测试
- 横向比较，各控件操作方式统一
- 自适应界面设计，内容根据窗口大小自适应
- 页面标签风格是否统一
- 页面是否美观
- 页面的图片应有其实际意义而要求整体有序美观
- 图片质量要高且图片尺寸在设计符合要求的情况下应尽量小
- 界面整体使用的颜色不易过多
- 内容测试
- 输入框说明文字的内容与系统功能是否一致
- 文字长度是否加以限制
- 文字内容是否表意不明
- 是否有错别字
- 信息是否为中文显示
- 是否有敏感性词汇，关键词
- 是否有敏感性图片，如：涉及版权，专利，隐私等图片
功能测试
- 运行
- APP安装完成后的试运行，可正常打开软件
- APP打开测试，是否有加载状态进度提示
- APP打开速度测试，速度是否可观
- APP页面间的切换是否流畅，逻辑是否正确
- 注册
- 同表单编辑页面
- 用户名密码长度
- 注册后的提示页面
- 前台注册页面和后台的管理页面数据一致
- 注册后，在后台管理中页面提示
- 登陆
- 使用合法的用户登录
- 系统是否允许多次非法登陆，是否有次数限制
- 使用已登陆的账号登陆系统是否正确处理
- 使用禁用的账号登陆系统是否正确处理
- 用户名，口令（密码）错误或漏填时能否登陆
- 删除或修改后的用户，原用户登陆
- 不输入用户口令和用户，重复点（确定或者取消按钮）是否允许登陆
- 登陆后页面中登陆信息
- 页面中有注销按钮
- 登陆超时处理
- 注销
- 注销原模块，新的模块系统能否正确处理
- 终止注销能返回原模块，原用户
- 注销原用户，新用户系统能否正确处理
- 使用错误的账号，口令，无权限的被禁用的账号进行注销
- 前后台切换
- APP切换到后台，再回到前台，检查是否停留上一次操作页面
- APP切换到后台，再回到前台，检查功能及应用状态是否正常
- APP切换到后台，再回到前台时，注意程序是否崩溃，功能状态是否正常，尤其是对于从后台切换回前台数据有自动更新的时候
- 手机锁屏触屏后进入APP注意是否会崩溃，功能状态是否正常，尤其是对于从后台切换回前台数据有自动更新的时候
- 当杀掉APP进程后，在开启APP，APP是否正常启动
- 出现必须处理的提示框后，切换到后台，在切换回来，检查提示框是否还存在，有时候会出现自动跳过提示框的缺陷
- 对于有数据交换的页面，每个页面都必须进行前后台切换，锁屏的测试，这种页面最容易出现崩溃
- 免登陆
- APP有免登陆功能时，需要考虑IOS版本差异
- 考虑无网络情况下时能否正常进入免登陆状态
- 切换用户登陆后，要交验用户登陆信息及数据内容是否相应更新，确保原用户彻底退出
- 根据MTOP的现有规则，一个账户只允许登陆一台机器，所以，需要检查一个账户登陆多台机器的情况，原机器里的用户被踢出，给出友好提示
- APP切换到后台，在切换回前台的校验
- 切换到后台，在切换回前台的测试
- 密码更换后，检查有数据交换时是否进行了有效身份的检验
- 支持自动登录的应用在进行数据交换时，检查系统是否能够自动登录成功并且数据操作无误
- 检查用户主动退出登录后，下次启动APP，应停留在登录页面
- 数据更新
- 需要确定哪些地方需要提供手动刷新，哪些地方需要自动刷新，哪些地方需要手动+自动刷新
- 确定哪些地方从后台切换回前台时需要进行数据更新
- 根据业务，进度及流量的配合分配，确定哪些内容需要实时更新，哪些需要定时更新
- 确定数据展示部分的处理逻辑，是每次从服务端请求，还是有缓存到本地，这样才能针对性的测试
- 检查有数据交换地方，均有相应的异常处理
- 离线浏览
- 在无网络情况下可以浏览到本地浏览器
- 退出APP在开启APP时能正常浏览
- 切换到后台在切换回前台可以正常浏览
- 锁屏后再解密回到应用前台可以正常浏览
- 在对服务端的数据有更新时会给予离线的相应提示
- APP更新
- 在客户端有新版本时，有更新提示
- 当版本为非强制升级版本时，用户可以取消更新，老版本能够正常使用，用户在下次启动APP时，仍能出现更新提示
- 当版本为强制更新时，当给出强制更新后的用户没有作出更新时，退出客户端，下次启动APP时，仍能出现强制更新的提示
- 当客户端有新版本时，在本地不能删除客户端的情况下，直接更新检查是否能正常更新
- 当客户端有新版本时，在本地不能删除客户端情况下，检查更新后的客户端是否是最新版本
- 当客户端有新版本时，在本地不能删除客户端情况下，检查资源同名文件，如：图片，是否能够更新成最新版本，如果无发更新成功的，也都属于缺陷
- 定位、照相机
- APP有用到相机，定位服务时，需要注意系统版本差异
- 有用到定位服务，照相机服务的地方，需要进行前后台切换测试，检查是否正常
- 当地位服务没有开启时，使用定位服务，会有好的弹出是否允许设置定位提示，当确定允许开启时，能自动跳转到定位位置中开启定位服务
- 测试定位，照相机服务时，需要采用真机进行测试
- 时间测试
- 客户端可以自动设置手机的时区，时间，因此需要校验改设置对APP的影响
- PUSH测试
- 检查push消息是否按照指定的业务规则进行发送
- 检查不接受推送消息时，检查用户不会接收到push
- 如果用户设置了免打扰的时间段，检查在免打扰的时间段内，用户接收不到push消息，在非免打扰时间段内，用户能正常收到push
- 当push消息是针对登录用户的时候，需要检查收到push的用户身份是否相符，没有错误的将其他人的消息推送过来，一般情况下，只对手机上最后一个登录用户进行消息推送
- 测试push时需要采用真机进行测试
性能测试
- 极限测试
- 响应能力测试
- APP安装卸载的响应时间
- APP各类功能性操作的响应时间
- 压力测试
- APP反复进行安装卸载，查看系统资源是否正常
- 其他功能反复进行操作，查看系统资源是否正常
- 大量用户同一时间操作时，查看系统资源是否正常
- 性能评估
- benchmark测试
- 与竞争产品的benchmarking 产品演变对比测试等
交叉事件测试
- 多个APP同时运行是否影响正常功能
- APP运行时前/后台切换是否影响正常功能
- APP运行时拨打/接听电话
- APP运行时发送/接收信息
- APP运行时切换网络（2G，3G，4G，5G，Wi-Fi）
- APP运行时浏览网络
- APP运行时使用蓝牙传送/接收数据
- APP运行时使用相机，计算器等手机自带设备
兼容测试
- 与本地及主流APP是否兼容
- 基于开发环境和生产环境的不同，校验在各种网络连接下（WI-FI，GSM，GPRS，EDGE，WCDMA，CDMA1X，CDMA2000，HSPDA等）APP的数据和运用是否正确
- 与各种设备是否兼容，若有跨系统支持则需要校验是否在各系统下，各种行为是否一致
- 不同操作系统的兼容性
- 不同手机的分辨率的兼容性
- 不同手机品牌的兼容性
回归测试
- BUG修复后且在新版本发布后需要进行回归测试
- BUG修复后的回归测试在交付前，需要进行全量用例的回归测试
升级更新测试
- 测试升级后的功能是否与需求说明一样
- 测试升级模块相关的模块功能是否与需求一直
- 升级安装意外情况的测试（如：断电，死机，重启）
- 升级界面的UI测试
- 不同操作系统间的升级测试
用户体验测试
- 是否有空数据界面设计，引导用户去执行操作
- 是否滥用用户指导
- 是否有不可点击的效果，如：你的按钮此时不可用的状态，那么一定要灰掉，或者拿掉按钮，否则会给用户误导
- 菜单层次是否太深
- 交互流程分枝是否太多
- 相关的选项是否离的很远
- 一次是否载入太多的数据
- 界面中的按钮可点击范围是否适中
- 标签页是否跟内容没有从属关系，当切换标签的时候，内容跟着切换
- 操作应该有主次从属关系
- 是否定义Back的逻辑，涉及软硬件交互时，Back键应具体定义
- 是否有横屏设计模式，应用一般需要支持横屏模式，即自适应设计
硬件环境测试
- 手势操作测试
- 手机开锁屏对于运行中的APP的影响
- 切换网络对于运行中的APP的影响
- 运行中的AP前后台切换的影响
- 多个运行中的APP的切换
- APP运行时充电
- APP运行时关机
- APP运行时重启系统
- APP运行时KILL掉进程再打开
- 网络环境
- 无网络时，执行需要网络的操作，给予友好的提示，确保程序不会出现crash
- 内网测试时，需要注意选择到外网操作时的异常处理情况
- 在网络信号不好时，检查功能状态是否正常，确保不因提交数据失败而造成crash
- 在网络信号不好时，检查数据是否回一直处于提交状态，有无超时限制，如遇到数据交换失败时要给予友好提示
- 在网络信号不好时，执行操作后，在回调没有完成的情况下，退出本页面或者执行其他操作的情况，有无异常情况，此问题也会经常出现程序crash
- 服务器
- 宕机或者出现404，502等情况下的测试后台服务牵涉到DNS，空间服务商的情况下会影响其稳定性，如：当出现域名解析故障时，你对后台的API请求很可能就会出现404错误，抛出异常，这时需要对异常进行正确的处理，否则可能会导致程序不能工作
接口测试
- 服务器一般会提供json格式的数据给到客户端，所有我们在服务器需要进行接口测试，确保服务器提供的接口并转换的json内容正确，对分支，异常流有相应的返回值。此块测试可以采用itest框架进行测试，最方便的是采用httpclient进行接口测试
- 进行服务端测试时，需要开发提供一份接口文档
客户端数据库测试
- 一般的增，删，改，查测试
- 当表不存在时，是否能自动创建，当数据库表删除后能否再自建，数据是否还能从服务端中获取回来并保存
- 在业务需要从服务端取回数据保存到客户端的时候，客户端能否将数据保存到本地
- 当业务需要从客户端取数据时，检查客户端数据存在时，APP数据是否能自动从客户端数据中取出，还是仍然会从服务端中获取？检查客户端数据不存在时，APP数据能否自动从服务端获取到并保存到客户端
- 当业务对数据进行修改，删除后，客户端和服务端是否会有相应的更新
|