[Python知识库]python 爬虫 谷歌学术 js加密处理方法

现在正在学习对于js加密的网页,如何用爬虫获取我们想要的内容。这次的目标是获取js加密后的网址,在此记录下对于js的分析以及函数的跳转还原。

目标网址:url='https://ac.scmor.com/'

打开链接,开发者工具移到立即访问上,发现没有我们想要的网址,而是出现了一个onclik调用visit,传入一串字符串的函数。

在来源中按住 ctrl+shift+f组合键 查找visit 找到一个可能是定义的函数,点进去看看。

function visit(url) {
    var newTab = window.open('about:blank'); 
    if(Gword!='') url = strdecode(url);
    newTab.location.href = url;
   }

对这段函数进行简单的理解,可以认为如果Gword不为空的话,调用strdecode传入url参数(url参数就是我们在之前看到一长串字符串),因此我们再查一查strdecode看看它是怎么实现的。

可以看到在strdecode函数中,又调用了base64decode这个函数,不过正好这个base64decode函数就在strdecode函数的下面,可以把它们两个一起复制保存下来
(就只用保存这两个函数,中间的base64DecodeChars可以先不保存)

对于js函数的处理,可以采用python还原js函数逻辑的方法,也可以采用execjs帮我们解析,本文采取后面的方法。

with open(r'visit.js','r',encoding='utf-8') as f:
    js=f.read()
    ctx=execjs.compile(js)
string=ctx.call('strdecode','U3kwBQctIQAjMHZdVC1xRDs5LVQqURUfKxwQGjQACBZ5VysGVytwfmVgDQBVKSMZYRpbGwxAFhYOKl5JAWZRDw4EXzwWBwMT')
#调用strdecode函数,传入参数url(就是开始时看见的一大串字符串) 得到返回值
print(string)

但是很可惜,这样做会报错:
我们观察代码,发现base64decode函数中确实调用了base64DecodeChars,然后我们再返回网页仔细观察,base64DecodeChars定义在了strdecode和base64decode两个函数之间,把base64DecodeChars复制到我们的js文件中再次运行。
再次报错,发现这次缺少Gword参数,我们再次通过全局查找这个参数,发现是个常量,同样复制到我们的js文件中,再次运行,发现还是少一个参数hn,照瓢画葫找到参数,复制到js文件中,运行后发现string成功输出地址。

全部代码如下,通过re正则表达式获取加密过得字符串，在调用还原函数进行还原得到原本的url。

#主函数
import requests
import execjs
import re
with open(r'visit.js','r',encoding='utf-8') as f:
    js=f.read()
    ctx=execjs.compile(js)
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
url='https://ac.scmor.com/'
res=requests.get(url=url,headers=headers)
gz=re.compile(r'autourl=\[(.*?)\]',re.S)
urls=gz.search(res.text).group(1)
url_list=urls.split(',')
for url in url_list:
    # print(url)
    a=ctx.call('strdecode',url)
    print(a)

//visit.js
var Gword = "21b5del6oIO57e01a";
var hn = 'ac.scmor.com';
function strdecode(string) {
 string = base64decode(string);
 key = Gword + hn;
 len = key.length;
 code = '';
 for (i = 0; i < string.length; i++) {
 var k = i % len;
 code += String.fromCharCode(string.charCodeAt(i) ^ key.charCodeAt(k));
 }
 return base64decode(code);
}
var base64DecodeChars = new Array(-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 62, -1, -1, -1, 63, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, -1, -1, -1, -1, -1, -1, -1, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, -1, -1, -1, -1, -1, -1, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, -1, -1, -1, -1, -1);

function base64decode(str) {
 var c1, c2, c3, c4;
 var i, len, out;
 len = str.length;
 i = 0;
 out = "";
 while (i < len) {
 do {
 c1 = base64DecodeChars[str.charCodeAt(i++) & 0xff];
 } while (i < len && c1 == -1);
 if (c1 == -1) break;
 do {
 c2 = base64DecodeChars[str.charCodeAt(i++) & 0xff];
 } while (i < len && c2 == -1);
 if (c2 == -1) break;
 out += String.fromCharCode((c1 << 2) | ((c2 & 0x30) >> 4));
 do {
 c3 = str.charCodeAt(i++) & 0xff;
 if (c3 == 61) return out;
 c3 = base64DecodeChars[c3];
 } while (i < len && c3 == -1);
 if (c3 == -1) break;
 out += String.fromCharCode(((c2 & 0XF) << 4) | ((c3 & 0x3C) >> 2));
 do {
 c4 = str.charCodeAt(i++) & 0xff;
 if (c4 == 61) return out;
 c4 = base64DecodeChars[c4];
 } while (i < len && c4 == -1);
 if (c4 == -1) break;
 out += String.fromCharCode(((c3 & 0x03) << 6) | c4);
 }
 return out;
}

参考网址:
https://blog.csdn.net/qq_39138295/article/details/85200511
https://blog.csdn.net/weixin_34008933/article/details/91404730