1.
这几天一直想做个网站，关于网易云的，就是爬取网易云评论来进行展示。有了想法，就立马行动起来。我的准备是用python来爬取网易云评论。然后自己写个前端，进行展示。不需要太复杂。就是一个简单的页面就行了。通过js向我的后端发请求来获取评论。后端用flask来写一个api。随机返回十几个评论。想着蛮简单的，但是，做起来就遇到了不少困难。
困难1.
我对css和JavaScript就不是很熟，很多东西都不会。开始写页面的时候，就想着一个简单的页面而已，不会太难。但是当你自己真的来写的时候，还是有点困难的。这个困难怎么说呢？。页面是写出来了。但是，但是。太TM丑了。虽然我也是实用主义者。但是还是看不下去。我其实想模仿着b站上一个up主做的。后面背景图片用的一个GIF图。这样更好看一点。但是我的GIF不能覆盖整个背景，只能覆盖一半。那怎么办？没办法，只能一半一半了。害！
页面好看不是评判一个网站的好坏的根本标准，但是一个恶心人的页面一定不是好页面。
——鲁迅困难2.
页面写好了，就要准备功能了。我准备用python开始写爬虫了。按照正常程序来，打开网易云主页，轻轻按下F12，开始找评论的请求，以我的技术，没一会就找到了。一个叫get?csrf_token=的请求。打开一看，没错里面就是我要找的评论。
一切顺利！
是个post请求，我就慢慢的往下移动，看看这个post要的数据，但是当我看到这个请求数据，我就感觉不妙，有一股淡淡的"杀气"
这么长的东西，是个什么鬼？？？这直接给我整emo了。
没办法，只有求助搜索引擎了。一百度，嘿，还真有，还蛮多。在大佬们的博客畅游了好久之后。总算知道了网易云的评论加密方式了。由开始的直接直接懵逼，到后来慢慢有点头绪。先主要介绍怎么加密的吧。
function a(a) {
var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = "";
for (d = 0; a > d; d += 1)
e = Math.random() * b.length,
e = Math.floor(e),
c += b.charAt(e);
return c
}//这个a的函数的就是随机生成一个16位的整数
function b(a, b) {
var c = CryptoJS.enc.Utf8.parse(b)
, d = CryptoJS.enc.Utf8.parse("0102030405060708")
, e = CryptoJS.enc.Utf8.parse(a)
, f = CryptoJS.AES.encrypt(e, c, {
iv: d,
mode: CryptoJS.mode.CBC
});
return f.toString()//b函数的意思就是给传入的参数进行aes加密
}
function c(a, b, c) {
var d, e;
return setMaxDigits(131),
d = new RSAKeyPair(b,"",c),
e = encryptedString(d, a)
}//c函数和encSecKey生成有关
function d(d, e, f, g) {
var h = {}
, i = a(16);
return h.encText = b(d, g),
h.encText = b(h.encText, i),
h.encSecKey = c(i, e, f),
h
}//d就是给再来一次aes加密
function e(a, b, d, e) {
var f = {};
return f.encText = c(a + e, b, d),
f
}
window.asrsea = d,
window.ecnonasr = e
}();
(function() {
var c7f = NEJ.P
, eu7n = c7f("nej.g")
, u7n = c7f("nej.j")
, j7c = c7f("nej.u")
, Tu9l = c7f("nm.x.ek");
Tu9l.emj = {
"色": "00e0b",
"流感": "509f6",
"这边": "259df",
"弱": "8642d",
"嘴唇": "bc356",
"亲": "62901",
"开心": "477df",
"呲牙": "22677",
"憨笑": "ec152",
"猫": "b5ff6",
"皱眉": "8ace6",
"幽灵": "15bb7",
"蛋糕": "b7251",
"发怒": "52b3a",
"大哭": "b17a8",
"兔子": "76aea",
"星星": "8a5aa",
"钟情": "76d2e",
"牵手": "41762",
"公鸡": "9ec4e",
"爱意": "e341f",
"禁止": "56135",
"狗": "fccf6",
"亲亲": "95280",
"叉": "104e0",
"礼物": "312ec",
"晕": "bda92",
"呆": "557c9",
"生病": "38701",
"钻石": "14af6",
"拜": "c9d05",
"怒": "c4f7f",
"示爱": "0c368",
"汗": "5b7a4",
"小鸡": "6bee2",
"痛苦": "55932",
"撇嘴": "575cc",
"惶恐": "e10b4",
"口罩": "24d81",
"吐舌": "3cfe4",
"心碎": "875d3",
"生气": "e8204",
"可爱": "7b97d",
"鬼脸": "def52",
"跳舞": "741d5",
"男孩": "46b8e",
"奸笑": "289dc",
"猪": "6935b",
"圈": "3ece0",
"便便": "462db",
"外星": "0a22b",
"圣诞": "8e7",
"流泪": "01000",
"强": "1",
"爱心": "0CoJU",
"女孩": "m6Qyw",
"惊恐": "8W8ju",
"大笑": "d"
};
Tu9l.md = ["色", "流感", "这边", "弱", "嘴唇", "亲", "开心", "呲牙", "憨笑", "猫", "皱眉", "幽灵", "蛋糕", "发怒", "大哭", "兔子", "星星", "钟情", "牵手", "公鸡", "爱意", "禁止", "狗", "亲亲", "叉", "礼物", "晕", "呆", "生病", "钻石", "拜", "怒", "示爱", "汗", "小鸡", "痛苦", "撇嘴", "惶恐", "口罩", "吐舌", "心碎", "生气", "可爱", "鬼脸", "跳舞", "男孩", "奸笑", "猪", "圈", "便便", "外星", "圣诞"]
}//window.asrsea其中的一个参数，是个定值
)();
(function() {
var c7f = NEJ.P
, eu7n = c7f("nej.g")
, u7n = c7f("nej.j")
, j7c = c7f("nej.u")
, Tu9l = c7f("nm.x.ek")
, l7e = c7f("nm.x");
if (u7n.be8W.redefine)
return;
window.GEnc = true;
var bva4e = function(chr0x) {
var m7f = [];
j7c.bf8X(chr0x, function(chh0x) {
m7f.push(Tu9l.emj[chh0x])
});
return m7f.join("")
};
var cha0x = u7n.be8W;
u7n.be8W = function(Y8Q, e7d) {
var i7b = {}
, e7d = NEJ.X({}, e7d)
, mh9Y = Y8Q.indexOf("?");
if (window.GEnc && /(^|\.com)\/api/.test(Y8Q) && !(e7d.headers && e7d.headers[eu7n.BJ4N] == eu7n.FN3x) && !e7d.noEnc) {
if (mh9Y != -1) {
i7b = j7c.hh8Z(Y8Q.substring(mh9Y + 1));
Y8Q = Y8Q.substring(0, mh9Y)
}
if (e7d.query) {
i7b = NEJ.X(i7b, j7c.fQ7J(e7d.query) ? j7c.hh8Z(e7d.query) : e7d.query)
}
if (e7d.data) {
i7b = NEJ.X(i7b, j7c.fQ7J(e7d.data) ? j7c.hh8Z(e7d.data) : e7d.data)
}
i7b["csrf_token"] = u7n.gU8M("__csrf");
Y8Q = Y8Q.replace("api", "weapi");
e7d.method = "post";
delete e7d.query;
var bKf7Y = window.asrsea(JSON.stringify(i7b), bva4e(["流泪", "强"]), bva4e(Tu9l.md), bva4e(["爱心", "女孩", "惊恐", "大笑"]));//进行加密
e7d.data = j7c.cs8k({
params: bKf7Y.encText,
encSecKey: bKf7Y.encSecKey
})
}
这个看的代码看的肯定有点长，但是关键代码也不多，我都有注释。我第一次看到这个也是一脸懵，怎么还有[爱心", "女孩", "惊恐", "大笑"],这都是什么鬼？后来我才知道，这就是来迷惑你的。上面有个字典，每一个词语都对应几个字母。后面用的是字母来当参数加密。经过我的测试，这个window.asrsea后面两个参数都是定值，你们可以在window.asrsea设个断点，然后在控制台输出这些值看看。你会发现，bva4e(["流泪", "强"])是'010001'，bva4e(Tu9l.md)是 00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7。bva4e(["爱心", "女孩", "惊恐", "大笑"])是0CoJUm6Qyw8W8jud。
那么现在就只剩下一个参数了，那就是JSON.stringify(i7b)了。你可以试着也在控制台输出一下。你可以会发现是'{"csrf_token":""}'。这个可能是断点的问题，你换个断点你就会发现。i7b是这个。但是你的可能不叫i7b。你自己找找。
{
'csrf_token': "",
'cursor': "-1",
'offset': "0",
'orderType': "1",
'pageNo': "1",
'pageSize': 20,
'rid': "R_SO_4_1376142151",
'threadId': "R_SO_4_1376142151"
}可以发现rid和threadId的R_SO_4_后面跟的都是歌曲id。csrf_token没啥用，就让他空着。唯一变的就是pageSize。它一直都是20的倍数。这样就好解决了。现在只要搞清楚怎么加密就行了。我们慢慢顺着往上找window.asrsea，发现window.asrsea等于一个叫d的函数再往上找，你会发现一个叫b的函数，再往上，你又会找到一个叫a和c的函数。b的功能就是对传入的参数进行AES加密。a的作用就是随机生成一个函数。c的函数和encSecKey生成有关。后面你会发现对于一个固定的i会有一个固定encSecKey。所以我们只要用一个i生成的encSecKey到时候就可以一直用了。那么加密就是，a生成一个16位随机的整数，d也就是window.asrsea，先用第一个和最后一个参数进行一次aes加密生成w，然后又用w作为参数和a生成的16整数进行二次aes加密生成params。这个网易云呀！！太可恶了，加密这么多，可折磨死我了。
那么下面就直接上代码吧
from base64 import b64encode
import requests,json
e = "010001"
f = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
g = "0CoJUm6Qyw8W8jud"
i = "0hyFaCNAVzOIdoht"
url = 'https://music.163.com/weapi/comment/resource/comments/get?csrf_token='
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
}
def get_encSecKey():
return "4022359ea3110bcd034e0160c3b89e5e172fd0110a3cf765d9f366d9fd09840a1f4a4705ac43719fdb8bfeb44d3b92334733061ad10942131184a4dfba0ac9d2cf867b8b6236523c1ca5f44c0d2d82c1c2665a3137a9241c7373539c1aa8e5e9bb9d33dafc764b5d76c2ab34fc94df85e27a934c8a603fa713f2cf38c2b7bbae"
def get_params(data): #data默认是json字符串
first = enc_params(data,g)
second = enc_params(first,i)
return second
def to_16(data):
pad = 16-len(data)%16
data +=chr(pad) * pad
return data
def enc_params(data,key): #加密过程
iv = "0102030405060708"
data = to_16(data)
aes = AES.new(key=key.encode('utf-8'),IV=iv.encode('utf-8'),mode=AES.MODE_CBC) #创建加密器
bs = aes.encrypt(data.encode('utf-8')) #加密
return str(b64encode(bs),"utf-8") #转化成字符串
if __name__ == '__main__':
page = int(input('请输入需要爬取的页数：'))
print('开始爬虫！！！')
for j in range(1,page+1):
page_num = str(j*20)
data = {
'csrf_token': "",
'cursor': "-1",
'offset': "0",
'orderType': "1",
'pageNo': "1",
'pageSize': page_num,
'rid': "R_SO_4_1376142151",
'threadId': "R_SO_4_1376142151"
}
response = requests.post(url,data={
"params":get_params(json.dumps(data)),
"encSecKey":get_encSecKey()
},headers=headers)
result = json.loads(response.content.decode('utf-8'))
i = random.randint(0,20)
print(result['data']['comments'][i]['content'])
print('爬取完毕！！！')
困难3.
那就是JavaScript发送request请求一直不成功，百度后说是请求域的问题，有点麻烦。等下次有时间把这个解决了吧。
今天就到这里吧！