[网络协议]Android逆向之https，androidstudiondk配置

1. 通用首部：各种类型的报文（请求、响应报文）都可以使用，提供有关报文最基本的信息。
2. 请求首部：专用于请求报文的首部，用于给服务器提供相关信息，告诉服务器客户端的期望和能力。
3. 响应首部：专用于响应报文的首部，用于告诉客户端是谁在响应以及响应者的能力。
4. 实体首部：用于描述http报文的负荷（主体），提供了有关实体及其内容的相关信息。
5. 扩展首部：非标准首部，由应用开发者定义的首部。

（以下整理的首部并非完全按照这五类划分，部分扩展首部也按照功能划入了请求首部、响应首部等部分）

通用首部

请求首部

响应首部

实体首部

跨域资源共享首部

跨域资源共享标准新增了一组HTTP头部字段，属于扩展首部，允许服务器声明哪些源站通过浏览器有权限访问哪些资源。另外，对那些可能对服务器产生副作用的HTTP请求方法，浏览器必须先使用OPTIONS方法发起一个预检请求，从而获知服务器是否允许该跨域请求。服务器允许后才发起实际的HTTP请求。预检请求的返回中，服务器也可以通知客户端是否需要携带身份凭证。

安全性的不足

1. 通信使用明文，内容可能会被窃听（可窃听）。
2. 无法证明报文的完整性，内容有可能已遭篡改（可篡改）。
3. 不验证通信方的身份，因此有可能遭遇伪装（可冒充）。

HTTPS协议

可以理解为HTTP+SSL/TLS， 即 HTTP 下加入 SSL/TLS 层，用于安全的 HTTP 数据传输，简单来说HTTP + 加密 + 认证 + 完整性保护 = HTTPS，用来解决HTTP协议安全性的不足。

SSL/TLS历史

HTTPS相比HTTP多出了SSL/TLS 层，SSL 协议原本由网景公司开发，后来被 IETF 标准化，正式名称叫做 TLS，TLS 1.0通常被标示为SSL 3.1，TLS 1.1为SSL 3.2，TLS 1.2为SSL 3.3，TLS1.1和TLS1.0不支持HTTP2，目前应用最广泛的应该还是 TLS 1.2，SSL协议发展历史如下：

TLS1.2单向认证流程

以目前使用最广泛的TLS1.2说明下认证流程即握手流程，认证分为单向和双向两种模式，单向认证客户端验证服务端证书合法即可访问，一般Web应用都是采用SSL单向认证的；双向认证需要客户端和服务器都需要持有证书，两者证书验证均合法才可以继续访问。

使用wireshark抓包TLS1.2，单向认证流程如下：

1. 客户端发送Client Hello。将一个Unix时间戳、TLS版本、支持的所有加密套件、支持的签名算法、生成的随机数Random_C等发送给服务器。

2. 服务器发送Server Hello。将服务器Unix时间戳、生成的随机数Random_S、协商的加密算法套件等发送给客户端。

3. 服务器发送Certificate、Server Key Exchange、Server Hello Done。Certificate是数字证书，Server Key Exchange为公钥参数（有时也可不需要），Server Hello Done表明服务器已经将所有预计的握手消息发送完毕。

4. 客户端发送Client Key Exchange、Change Cipher Spec、Encrypted Handshake Message。客户端首先需要校验证书，证书向上按照证书链逐级校验，每一级证书校验过程是通过拿到证书签发者（Issuer）的证书中的公钥（证书 = 使用者公钥 + 主体信息如公司名称等 + CA对信息的确认签名 + 指纹）对本级证书（Subject）的签名进行数学验证，并校验证书是否被吊销，是否在有效期，是否与域名匹配等，验证成功即证书有效，整个一级一级验证上去，形成信任链，如果校验不通过则中断连接，浏览器弹出警告，校验正确后解析得到服务器公钥，并发送Client Key Exchange、Change Cipher Spec、Encrypted Handshake Message。Client Key Exchange：生成一个随机数 Pre-master，并用证书公钥加密，通过Fuc(random_C, random_S, Pre-Master)生成一个协商密钥；Change Cipher Spec：通知服务器协商完成，以后就使用上面生成的协商密钥进行对称加密；Encrypted Handshake Message：结合之前所有通信参数的 hash 值与其它相关信息生成一段数据，采用协商密钥与算法进行加密。

5. 服务器发送Change Cipher Spec、Encrypted Handshake Message。服务器使用私钥解密得到 Pre-master数值，基于之前交换的两个明文随机数 random_C 和 random_S，同样通过Fuc(random_C, random_S, Pre-Master)得到协商密钥，计算之前所有接收信息的 hash 值，然后解密客户端发送的 encrypted_handshake_message，验证数据和密钥正确性，验证通过之后，服务器同样发送 change_cipher_spec 以告知客户端后续的通信都采用协商的密钥与算法进行加密通信；encrypted_handshake_message：服务器也结合所有当前的通信参数信息生成一段数据并采用协商密钥与算法加密并发送到客户端。

6. 客户端计算所有接收信息的hash值，并采用协商密钥解密encrypted_handshake_message，验证服务器发送的数据和密钥，验证通过则握手完成。

7. 开始使用协商密钥与算法进行加密通信。（Encrypted Alert是由客户端或服务器发送，意味着加密通信因为某些原因需要中断，警告对方不要再发送敏感的数据）。

Android抓包HTTPS

HTTP/HTTPS抓包工具有不少，常见的电脑端抓包工具有fiddler、Charles、Burp Suite、whistle、AnyProxy，Android端抓包APP也有HttpCanary，wireshark也可以抓包但是不可以解密HTTPS内容。

使用Charles抓包安卓HTTP很简单，将手机WIFI设置代理为Charles，步骤如下：

1. 为方便设置代理，使手机与电脑处于同一局域网（连接同一个WIFI，或者电脑连到同一个路由器的LAN端口）。
2. 电脑使用ipconfig查看局域网ip，并打开Charles。
3. 手机连接的WIFI–高级设置–代理服务器，代理服务器填写电脑的局域网ip，Charles的代理端口默认8888。
4. 电脑端Charles允许连接即可。
5. Charles–Proxy–SSL Proxying Setting，Enable SSL Proxying打勾，add添加抓包的Host和Port，一般Port都是443，Host和Port都填*则抓包所有。

打开APP就能在Charles上看到抓包的HTTP，但是HTTPS都会显示为Unknown，因为还没有安装Charles的证书。手机设置代理以后，浏览器访问chls.pro/ssl下载Charles证书并安装。Android 7.0以下直接安装即可，但是Android 7.0及以上默认不信任用户自己安装的证书，而只信任系统预设的证书，解决方法有：

• 手动制作Charles证书，按照Android系统预设的格式，并推到/system/etc/security/cacerts目录下，从而让系统把Charles证书当作系统证书

• 如果使用Magisk实现的root，Magisk安装MagiskTrustUserCerts模块，模块原理同上，可以把自定义的用户证书当作系统证书

• 反编译apk，资源文件中添加network_security_config.xml，修改AndroidManifest.xml（修改APP的网络安全配置，信任用户证书）

AndroidManifest.xml修改：

<manifest … >

…

network_security_config.xml内容：

• frida或者xposed hook实现证书信任

在JSSE中证书信任管理器类实现了X509TrustManager接口，我们可以自己实现一个X509TrustManager，通过hook修改掉网络请求库的X509TrustManager配置。

比如自定义X509TrustManager实现信任所有服务端的证书（无论是否过期、是否经过认证）：

public class TrustAllManager implements X509TrustManager {
@Override
public void checkClientTrusted(java.security.cert.X509Certificate[] chain, String authType)
throws java.security.cert.CertificateException {
}

@Override
public void checkServerTrusted(java.security.cert.X509Certificate[] chain, String authType)
throws java.security.cert.CertificateException {
}

@Override
public java.security.cert.X509Certificate[] getAcceptedIssuers() {
return new java.security.cert.X509Certificate[0];
}
}

okhttp的X509TrustManager设置为：

OkHttpClient.Builder builder = new OkHttpClient.Builder();
builder.sslSocketFactory(createAllSSLSocketFactory(), new TrustAllManager());

我们可以通过hook OkHttpClient.Builder类的sslSocketFactory方法，实现修改X509TrustManager配置，从而实现用户证书的信任。

HTTPS抓包原理

Charles、fiddler、HttpCanary抓包都是基于代理实现的，对HTTPS的抓包原理其实也都差不多，类似于中间人攻击，原理如下（图片来源于谈移动端抓包方式和原理及如何防犯中间人攻击）：

• TLS握手时拦截服务器证书，得到服务器公钥，并将Charles自己的证书发送给客户端，客户端原本校验Charles证书不通过，但我们可以手动使客户端信任Charles证书。
• Charles拦截请求得到Random_S和Random_C等未加密信息，其他加密部分比如Pre-Master由于是使用Charles的证书公钥加密的，Charles可以使用自己的私钥解密得到内容，再使用服务器证书公钥重新加密后发送给服务器，从而与服务器完成TLS认证，并获取到密钥。
• 每次发送HTTPS请求报文经过Charles，Charles再使用得到的对称密钥进行解密。

Android防抓包策略及绕过思路

Android上HTTPS抓包成本并不算高，使系统信任第三方证书就能够实现抓包，Android 7.0 (API 24)及以上虽默认不再信任用户CA，提高了安全性但抓包成本也不算高，还可添加其他防抓包策略进一步提高安全性。

设置无代理模式

由于Charles、fiddler这些抓包工具是基于代理实现的（wireshark不是基于代理，而是网卡抓包），所以可以将APP所用的HTTP客户端设置为无代理，设置之后HTTP客户端不会连接到代理服务器，这样的话Charles就无法直接抓包了，比如OkHttp配置无代理:

OkHttpClient.Builde

《Android学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》

【docs.qq.com/doc/DSkNLaERkbnFoS0ZF】 完整内容开源分享

r()
.proxy(Proxy.NO_PROXY)
.build()

绕过方案：

1. 手动修改DNS。由上面的代理原理图可知，若请求不走代理，就要通过DNS解析获取ip地址再发送请求，我们可以直接修改Android的DNS配置，将请求域名解析到Charles代理服务器上，从而实现抓包。
2. VPN流量转发。使用drony之类的APP先将手机请求导到VPN，再对VPN的网络进行Charles的代理。
3. 使用frida或者xposed hookOkHttpClient.Builder的proxy方法，使无代理配置不起作用。

增强本地证书校验

APP本地做证书校验时不仅仅校验公钥，并且设置更为严格的校验模式，直接安装的Charles证书将因为格式问题不能验证通过，可以通过实现X509TrustManager 接口实现。这种方式其实适用于Android 7.0以下，Android 7.0以上通过MagiskTrustUserCerts等方式安装的证书由于已经被当作系统内置证书，这种方式应该不再起作用。

SSL Pinning证书锁定

应用中只信任固定证书或是公钥，将可信 CA 限制在一个很小的 CA 集范围内，应用的服务器将使用这个集合，这样可以防止因泄露系统中其他 100 多个 CA 中的某个 CA 而破坏应用安全通道。

通常有两种锁定方式证书固定和公钥固定。证书固定：将证书的某些字节码硬编码在用程序中，证书校验时检查证书中是否存在相同的字节码；公钥固定：网站会提供已授权公钥的哈希列表，指示客户端在后续通讯中只接受列表上的公钥。

OkHttp配置实现证书锁定，对特定的host做证书公钥验证，公钥经过Sha1算法hash一下，然后Base64加密一次，然后在结果前面加上字符串"sha256/“或者"sha1/”:

在一个很小的 CA 集范围内，应用的服务器将使用这个集合，这样可以防止因泄露系统中其他 100 多个 CA 中的某个 CA 而破坏应用安全通道。

通常有两种锁定方式证书固定和公钥固定。证书固定：将证书的某些字节码硬编码在用程序中，证书校验时检查证书中是否存在相同的字节码；公钥固定：网站会提供已授权公钥的哈希列表，指示客户端在后续通讯中只接受列表上的公钥。

OkHttp配置实现证书锁定，对特定的host做证书公钥验证，公钥经过Sha1算法hash一下，然后Base64加密一次，然后在结果前面加上字符串"sha256/“或者"sha1/”: