[网络协议]Android逆向之https，Android社招面经分享

HTTP协议

超文本传输协议，是一个基于请求与响应，无状态的，应用层的协议，常基于TCP/IP协议传输数据，互联网上应用层最为广泛的一种网络协议。

发展史

状态码

状态码由三个十进制数字组成，第一个十进制数字定义了状态码的类型，共分为5种类型：

方法

方法的名称区分大小写，并且通常是一个简短的单词，由英文大写字母组成。

接收请求时，服务器尝试确定请求的方法，如果失败，则返回带有代码 501 和短语的响应消息 Not Implemented。

首部

http首部主要分为五大部分：

1. 通用首部：各种类型的报文（请求、响应报文）都可以使用，提供有关报文最基本的信息。
2. 请求首部：专用于请求报文的首部，用于给服务器提供相关信息，告诉服务器客户端的期望和能力。
3. 响应首部：专用于响应报文的首部，用于告诉客户端是谁在响应以及响应者的能力。
4. 实体首部：用于描述http报文的负荷（主体），提供了有关实体及其内容的相关信息。
5. 扩展首部：非标准首部，由应用开发者定义的首部。

（以下整理的首部并非完全按照这五类划分，部分扩展首部也按照功能划入了请求首部、响应首部等部分）

通用首部

请求首部

响应首部

实体首部

跨域资源共享首部

跨域资源共享标准新增了一组HTTP头部字段，属于扩展首部，允许服务器声明哪些源站通过浏览器有权限访问哪些资源。另外，对那些可能对服务器产生副作用的HTTP请求方法，浏览器必须先使用OPTIONS方法发起一个预检请求，从而获知服务器是否允许该跨域请求。服务器允许后才发起实际的HTTP请求。预检请求的返回中，服务器也可以通知客户端是否需要携带身份凭证。

安全性的不足

1. 通信使用明文，内容可能会被窃听（可窃听）。
2. 无法证明报文的完整性，内容有可能已遭篡改（可篡改）。
3. 不验证通信方的身份，因此有可能遭遇伪装（可冒充）。

HTTPS协议

可以理解为HTTP+SSL/TLS， 即 HTTP 下加入 SSL/TLS 层，用于安全的 HTTP 数据传输，简单来说HTTP + 加密 + 认证 + 完整性保护 = HTTPS，用来解决HTTP协议安全性的不足。

SSL/TLS历史

HTTPS相比HTTP多出了SSL/TLS 层，SSL 协议原本由网景公司开发，后来被 IETF 标准化，正式名称叫做 TLS，TLS 1.0通常被标示为SSL 3.1，TLS 1.1为SSL 3.2，TLS 1.2为SSL 3.3，TLS1.1和TLS1.0不支持HTTP2，目前应用最广泛的应该还是 TLS 1.2，SSL协议发展历史如下：

TLS1.2单向认证流程

以目前使用最广泛的TLS1.2说明下认证流程即握手流程，认证分为单向和双向两种模式，单向认证客户端验证服务端证书合法即可访问，一般Web应用都是采用SSL单向认证的；双向认证需要客户端和服务器都需要持有证书，两者证书验证均合法才可以继续访问。

使用wireshark抓包TLS1.2，单向认证流程如下：

1. 客户端发送Client Hello。将一个Unix时间戳、TLS版本、支持的所有加密套件、支持的签名算法、生成的随机数Random_C等发送给服务器。

2. 服务器发送Server Hello。将服务器Unix时间戳、生成的随机数Random_S、协商的加密算法套件等发送给客户端。

3. 服务器发送Certificate、Server Key Exchange、Server Hello Done。Certificate是数字证书，Server Key Exchange为公钥参数（有时也可不需要），Server Hello Done表明服务器已经将所有预计的握手消息发送完毕。

4. 客户端发送Client Key Exchange、Change Cipher Spec、Encrypted Handshake Message。客户端首先需要校验证书，证书向上按照证书链逐级校验，每一级证书校验过程是通过拿到证书签发者（Issuer）的证书中的公钥（证书 = 使用者公钥 + 主体信息如公司名称等 + CA对信息的确认签名 + 指纹）对本级证书（Subject）的签名进行数学验证，并校验证书是否被吊销，是否在有效期，是否与域名匹配等，验证成功即证书有效，整个一级一级验证上去，形成信任链，如果校验不通过则中断连接，浏览器弹出警告，校验正确后解析得到服务器公钥，并发送Client Key Exchange、Change Cipher Spec、Encrypted Handshake Message。Client Key Exchange：生成一个随机数 Pre-master，并用证书公钥加密，通过Fuc(random_C, random_S, Pre-Master)生成一个协商密钥；Change Cipher Spec：通知服务器协商完成，以后就使用上面生成的协商密钥进行对称加密；Encrypted Handshake Message：结合之前所有通信参数的 hash 值与其它相关信息生成一段数据，采用协商密钥与算法进行加密。

5. 服务器发送Change Cipher Spec、Encrypted Handshake Message。服务器使用私钥解密得到 Pre-master数值，基于之前交换的两个明文随机数 random_C 和 random_S，同样通过Fuc(random_C, random_S, Pre-Master)得到协商密钥，计算之前所有接收信息的 hash 值，然后解密客户端发送的 encrypted_handshake_message，验证数据和密钥正确性，验证通过之后，服务器同样发送 change_cipher_spec 以告知客户端后续的通信都采用协商的密钥与算法进行加密通信；encrypted_handshake_message：服务器也结合所有当前的通信参数信息生成一段数据并采用协商密钥与算法加密并发送到客户端。

6. 客户端计算所有接收信息的hash值，并采用协商密钥解密encrypted_handshake_message，验证服务器发送的数据和密钥，验证通过则握手完成。

7. 开始使用协商密钥与算法进行加密通信。（Encrypted Alert是由客户端或服务器发送，意味着加密通信因为某些原因需要中断，警告对方不要再发送敏感的数据）。

Android抓包HTTPS

HTTP/HTTPS抓包工具有不少，常见的电脑端抓包工具有fiddler、Charles、Burp Suite、whistle、AnyProxy，Android端抓包APP也有HttpCanary，wireshark也可以抓包但是不可以解密HTTPS内容。

使用Charles抓包安卓HTTP很简单，将手机WIFI设置代理为Charles，步骤如下：

1. 为方便设置代理，使手机与电脑处于同一局域网（连接同一个WIFI，或者电脑连到同一个路由器的LAN端口）。
2. 电脑使用ipconfig查看局域网ip，并打开Charles。
3. 手机连接的WIFI–高级设置–代理服务器，代理服务器填写电脑的局域网ip，Charles的代理端口默认8888。
4. 电脑端Charles允许连接即可。
5. Charles–Proxy–SSL Proxying Setting，Enable SSL Proxying打勾，add添加抓包的Host和Port，一般Port都是443，Host和Port都填*则抓包所有。

打开APP就能在Charles上看到抓包的HTTP，但是HTTPS都会显示为Unknown，因为还没有安装Charles的证书。手机设置代理以后，浏览器访问chls.pro/ssl下载Charles证书并安装。Android 7.0以下直接安装即可，但是Android 7.0及以上默认不信任用户自己安装的证书，而只信任系统预设的证书，解决方法有：

• 手动制作Charles证书，按照Android系统预设的格式，并推到/system/etc/security/cacerts目录下，从而让系统把Charles证书当作系统证书

• 如果使用Magisk实现的root，Magisk安装MagiskTrustUserCerts模块，模块原理同上，可以把自定义的用户证书当作系统证书

• 反编译apk，资源文件中添加network_security_config.xml，修改AndroidManifest.xml（修改APP的网络安全配置，信任用户证书）

  AndroidManifest.xml修改：

  <manifest ... >
      <application android:networkSecurityConfig="@xml/network_security_config">
      ...
      </application>
  </manifest> 
  

  network_security_config.xml内容：

  <?xml version="1.0" encoding="utf-8"?>
  <network-security-config>
     <base-config cleartextTrafficPermitted="true">
          <trust-anchors>
              <certificates src="system" />
  

ork_security_config.xml内容：

```
<?xml version="1.0" encoding="utf-8"?>
<network-security-config>
   <base-config cleartextTrafficPermitted="true">
        <trust-anchors>
            <certificates src="system" />