题目1：抓取所有（5页）机票的价格，并计算所有机票价格的平均值，填入答案。
浏览器: edge
IDE: pycharm
Sekiro: 基于长链接和代码注入的Android private API暴露框架 (github.com) https://github.com/virjar/sekiro
分析网页
1.F12查看数据来源
发现有个调试断点,影响了使用,我们启用本地文件替代,将这个文件里的3行代码直接删掉,就可以了,
具体启用本地替代方式: 在网页的JS中注入Hook
然后查看网络数据,直接查看XHR数据,在网页上点第二页,找到数据来源,发现URL中有一个 m 的加密参数
2.查看调用栈
接着查看请求详情,点击发起程序,查看调用栈
调用栈中的 jquery.min.js 相关的可以先不看,除非其它两个都找不到
其中一个函数名叫request,点进去看一下
发现是被转义的代码,我们把它放进pycharm里打印一下就转回来了…
或者在猿人学的网站的采集分析工具里有一个 反混淆 工具,直接贴进去就行,
转码后的代码大概如下:
window['url'] = '/api/' + 'match' + '/1', request = function () {
var _0x2268f9 = Date['parse'](new Date()) + (16798545 + -72936737 + 156138192), _0x57feae = oo0O0(_0x2268f9['toStr' + 'ing']()) + window['f'];
const _0x5d83a3 = {};
_0x5d83a3['page'] = window['page'], _0x5d83a3['m'] = _0x57feae + '丨' + _0x2268f9 / (-1 * 3483 + -9059 + 13542);
var _0xb89747 = _0x5d83a3;
$['ajax']({
'url': window['url'],
'dataType': 'json',
'async': ![],
'data': _0xb89747,
'type': 'GET',
'beforeSend': function (_0x4c488e) {
},
'success': function (_0x131e59) {
'...'
},
'complete': function () {
},
'error': function () {
'...'
}
});
}, request();
第一行的window.url 与数据请求url相同,并且生成了一个 _0xb89747 的查询参数,
通过第5行,可以看见,这个参数就是url 中的 page 和 m,
编写JS Hook文件
至于它是如何加密的,不需要去查看,直接使用基于RPC技术的Sekiro,进行hook调用即可
Sekiro Hook Web JS 的详细使用步骤可点击我的往期文章
这里我要取得加密参数,需要自定义一个hook函数,将上面加密相关的代码拷贝进去,剔除掉 $.ajax 请求发送的代码
然后编写完整的sekiro_web_client.js
// 在当前示例中以下的所有代码应该包裹在一个 <script> </script> 标签里,后面会说明原因
// 让该函数接收 page 参数,返回加密后的字符串
my_hook_xy = function (page) {
var _0x2268f9 = Date['parse'](new Date()) + (16798545 + -72936737 + 156138192), _0x57feae = oo0O0(_0x2268f9['toStr' + 'ing']()) + window['f'];
const _0x5d83a3 = {};
_0x5d83a3['page'] = page, _0x5d83a3['m'] = _0x57feae + '丨' + _0x2268f9 / (-1 * 3483 + -9059 + 13542);
var _0xb89747 = _0x5d83a3;
return _0xb89747
};
// 然后编写完整的sekiro_web_client.js
(function (){
// 这里拷贝 sekiro_web_client.js 上半部分(无需修改)
// 官方下载: https://sekiro.virjar.com/sekiro-doc/assets/sekiro_web_client.js
// 阿里云:https://www.aliyundrive.com/s/YpBvYrSSnNT
// 这里是 sekiro_web_client.js 自行编写的下半部分
function guid() {
function S4() {
return (((1 + Math.random()) * 0x10000) | 0).toString(16).substring(1);
}
return (S4() + S4() + "-" + S4() + "-" + S4() + "-" + S4() + "-" + S4() + S4() + S4());
}
const client_sekiro = new SekiroClient("ws://127.0.0.1:5620/business-demo/register?group=yuan_ren_xue_01&clientId=" + guid());
client_sekiro.registerAction("my_hook_xy", function (request, resolve, reject) {
resolve(my_hook_xy(request['page']));
})
})();
接下来需要把这些代码添加到原JS 代码的最后去
我右键点击该文件头,发现没有 保存以替代的选项说明通过调用栈进来的这个位置,不是一个文件,
我需要再回到调用栈,找到该函数所在的文件,
在该调用栈的下方有一个匿名的调用,
点进去查看发现了这段转义的Js代码,是在一个html文件的<script>标签里,通过eval转义的
所以我上面的代码也需要包裹在一个<script>标签里,添加在文件的最下方
启动Sekiro 服务端,
保存刷新网页,看看添加的代码有没有报错… 之前少写个分号,IDE没报错,但是网页上报错了,搞了我好久…
编写爬虫文件
# spider01.py
from numpy import mean
import requests
import config
def get_m(page):
"""
向 Sekiro的服务端 发送请求,获取hook接口返回的数据
"""
params = {
'group': 'yuan_ren_xue_01',
'action': 'my_hook_xy',
}
url = 'http://127.0.0.1:5620/business-demo/invoke'
res = requests.get(url=url, params=params, data={'page': page}).json()
return res
def get_price_list(page):
url = f'{config.host}/api/match/1'
headers = config.headers
parmas = {
'page': page,
'm': get_m(page)['m'],
}
res = requests.get(url=url, headers=headers, params=parmas).json()
price_list = [item['value'] for item in res['data']]
print(price_list)
return price_list
if __name__ == '__main__':
result_list = []
for i in range(1, 6):
result_list.extend(get_price_list(i))
print(mean(result_list))
# config.py
headers = {
'user-agent': 'yuanrenxue.project',
'cookie': 'sessionid=....' # 自己填自己的
}
host = 'https://match.yuanrenxue.com'
结果:
