[Python知识库] 某商标局公告抓取思路总结爬虫过无限debugger Js逆向调试

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> 某商标局公告抓取思路总结爬虫过无限debugger Js逆向调试 -> 正文阅读

[Python知识库]某商标局公告抓取思路总结爬虫过无限debugger Js逆向调试

某商标局公告抓取思路总结爬虫过无限debugger

@[TOC](某商标局公告抓取思路总结爬虫过无限debugger)

目标地址：aHR0cDovL3dzZ2cuc2JqLmNuaXBhLmdvdi5jbjo5MDgwL3RtYW5uL2FubkluZm9WaWV3L2FublNlYXJjaC5odG1s

1：查询公告期号为1的（这里有个无线debugger）（直接右键 nerver parse here）或者如下图表点一下
在这里插入图片描述

展示内容为：
在这里插入图片描述
把相关代码copy下来本地调试分析流程至于怎么分析就不说了说不清楚的

然后模拟这个请求得到异步加载的数据列
IGh0dHA6Ly93c2dnLnNiai5jbmlwYS5nb3YuY246OTA4MC90bWFubi9hbm5JbmZvVmlldy9hbm5TZWFyY2hERy5odG1sPwog
在这里插入图片描述
最后在模拟详情页请求得到详情页数据

模拟列表页代码

"""
部分代码已经省略
"""
form_data = {'page': '1',
             'rows': '20',
             'annNum': '1',
             'annType': '',
             'tmType': '',
             'coowner': '',
             'recUserName': '',
             'allowUserName': '',
             'byAllowUserName': '',
             'appId': '',
             'appIdZhiquan': '',
             'bfchangedAgengedName': '',
             'changeLastName': '',
             'transferUserName': '',
             'acceptUserName': '',
             'regName': '',
             'tmName': '',
             'intCls': '',
             'fileType': '',
             'totalYOrN': 'false',
             'appDateBegin': '',
             'appDateEnd': '',
             'agentName': ''}
base_url = 'aHR0cDovL3dzZ2cuc2JqLmNuaXBhLmdvdi5jbjo5MDgwL3RtYW5uL2FubkluZm9WaWV3L2FublNlYXJjaERHLmh0bWw='
response = session.post(base_url, data=form_data, headers=headers, cookies=goN9uW4i0iKzS)

模拟详情页代码

"""
部分代码已经省略
"""
url = 'aHR0cDovL3dzZ2cuc2JqLmNuaXBhLmdvdi5jbjo5MDgwL3RtYW5uL2FubkluZm9WaWV3L2ltYWdlVmlldy5odG1s'
data = {'id': res.text, 'pageNum': lis["page_no"], 'flag': 1}
headers = {
   'Accept': 'application/json, text/javascript, */*; q=0.01',
   'Accept-Encoding': 'gzip, deflate',
   'Accept-Language': 'zh-CN,zh;q=0.9',
   'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
   'Host': 'd3NnZy5zYmouY25pcGEuZ292LmNuOjkwODAKIA==',
   'Origin': 'aHR0cDovL3dzZ2cuc2JqLmNuaXBhLmdvdi5jbjo5MDgwCiA=',
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like    Gecko) Chrome/100.0.4896.60 Safari/537.36',
    }
goN9uW4i0iKzS.update(
   {'goN9uW4i0iKzT':
        js_code.call('get_cookie', text.replace(repl_str, '</html>')).split(';')[1].split('=')[1]})
cookies=';'.join(['{}={}'.format(k,v) for k,v in goN9uW4i0iKzS.items() if k!='enable_undefined'])
headers.update({'Cookie':cookies})
res = session.post(url, data=data, headers=headers)
res.encoding = cchardet.detect(res.content)['encoding']
if 'imaglist' in res.text:
   print(res.json())

关于本地调试瑞数直接代码下载下来没有debugger那就自己添加（哈哈爬虫逆向害怕无限debugger 那反爬虫不也害怕debugger吗）
![在这里插入图片描述](https://img-blog.csdnimg.cn/c114d1de3dca4cdb9a45225c9ed40d8e.png