[网络协议]网页数据抓取代理ip

现在从事爬虫工作的朋友越来越多，但是爬虫工作不容易。当我们爬上某个网站时，我们突然关闭了IP，爬不起来。这种情况应该是很多朋友遇到的，那么如何解决呢？有两种解决方案。请看下面的介绍。

一、改变访问频率，尽量模拟用户的行为。

这三个方面主要是模拟用户行为:

1、UserAgent经常被替换；

2、访问时间间隔设定较长，访问时间设定为随机数；

3、访问页面的顺序也可以随机执行；

只是为了让对方的反爬被认为是人在访问，避免IP被封。

二、使用大量代理IP的原理很简单，就是封一个IP，上千个IP。这个解决方案需要大量的代理IP资源。