[网络协议]人民网数据查询

第一种，Web搜索

• 检查网页数据，获取搜索页面的请求网址。
• http://search.people.cn/search-platform/front/search，POST请求。
• 添加自定义请求头，可以轻松获取请求数据。
• 出现问题：因为网站的反爬检测比较严格，容易IP 封锁。
• 解决方式：
  1. 添加随机延时请求；
  2. 使用代理IP；
  3. 改变网址，使用其他渠道获取。如：小程序，APP等。

使用代理IP

# -*- coding: utf-8 -*-
import requests

了解本专栏 订阅专栏 解锁全文 学习会员免费看 赠一年