[Python知识库]【爬虫篇】根据网站的robots.txt文件判断一个爬虫是否有权限爬取这个网页

使用robotparser模块来解析robots.txt文件，该模块提供了一个RobotFileParser，它可以根据网站的robots.txt文件判断一个爬虫是否有权限爬取这个网页。

语法：

urllib.robotparser.RobotFileParser(url='')

https://www.baidu.com/robots.txt的内容如下（截取部分内容）：

User-agent: Baiduspider			# 百度爬虫
Disallow: /baidu					# 不允许爬取/baidu下的内容
Disallow: /s?						# 不允许爬取/s?下的内容
Disallow: /ulink?					# 不允许爬取/ulink?下的内容
Disallow: /link?					# 不允许爬取/link?下的内容
Disallow: /home/news/data/			# 不允许爬取/home/news/data/下的内容
Disallow: /bh						# 不允许爬取/bh下的内容

User-agent: Googlebot			# 谷歌爬虫
Disallow: /baidu					# 不允许爬取/baidu下的内容
Disallow: /s?						# 不允许爬取/s?下的内容
Disallow: /shifen/					# 不允许爬取/shifen/下的内容
Disallow: /homepage/				# 不允许爬取/homepage/下的内容
Disallow: /cpro						# 不允许爬取/cpro下的内容
Disallow: /ulink?					# 不允许爬取/ulink?下的内容
Disallow: /link?					# 不允许爬取/link?下的内容
Disallow: /home/news/data/			# 不允许爬取/home/news/data/下的内容
Disallow: /bh						# 不允许爬取/bh下的内容

User-agent: *            		# 其它爬虫，指robots.txt文件协议中没有指出的其它爬虫
Disallow: /             			# 不允许爬取网站的所有目录及内容

1、方法1：在声明对象时，直接传入robots.txt文件的链接

# Python版本：3.6
# -*- coding:utf-8 -*-

from urllib.robotparser import RobotFileParser

# 在声明对象时，直接传入robots.txt文件的链接
rp = RobotFileParser('https://www.baidu.com/robots.txt')
# 不能缺失，一定要调用此方法，否则can_fetch方法中全都判断为False，该方法用来解析robots.txt文件并进行分析
rp.read()

# 允许百度爬虫访问 域名的根目录
print(rp.can_fetch('Baiduspider','https://www.baidu.com')) 				# True
# 允许百度爬虫访问 目录/homepage/
print(rp.can_fetch('Baiduspider','https://www.baidu.com/homepage/')) 	# True
# 禁止谷歌爬虫访问 目录/homepage/
print(rp.can_fetch('Googlebot','https://www.baidu.com/homepage/')) 		# False
# 爬虫名称为空或在robots协议中找不到，就匹配"User-agent: *"，禁止所有爬虫访问所有目录
print(rp.can_fetch('','https://www.baidu.com')) 						# False

2、方法2：使用set_url()方法

注意： 如果在创建RobotFileParser对象时传入了robots.txt文件的链接，就不需要使用方法2。

# Python版本：3.6
# -*- coding:utf-8 -*-

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
# 通过set_url方法设置robots.txt文件的链接
rp.set_url('https://www.baidu.com/robots.txt')
rp.read()

# 允许百度爬虫访问 域名的根目录
print(rp.can_fetch('Baiduspider','https://www.baidu.com')) 				# True
# 允许百度爬虫访问 目录/homepage/
print(rp.can_fetch('Baiduspider','https://www.baidu.com/homepage/')) 	# True
# 禁止谷歌爬虫访问 目录/homepage/
print(rp.can_fetch('Googlebot','https://www.baidu.com/homepage/')) 		# False
# 爬虫名称为空或在robots协议中找不到，就匹配"User-agent: *"，禁止所有爬虫访问所有目录
print(rp.can_fetch('','https://www.baidu.com')) 						# False

3、方法3：使用parse方法执行对robots.txt文件的读取和分析

# Python版本：3.6
# -*- coding:utf-8 -*-

from urllib.request import urlopen
from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
# 使用parse方法对robots.txt文件的读取和分析
rp.parse(urlopen('https://www.baidu.com/robots.txt').read().decode('utf-8').split('\n'))

# 允许百度爬虫访问 域名的根目录
print(rp.can_fetch('Baiduspider', 'https://www.baidu.com'))  			# True
# 允许百度爬虫访问 目录/homepage/
print(rp.can_fetch('Baiduspider', 'https://www.baidu.com/homepage/'))	# True
# 禁止谷歌爬虫访问 目录/homepage/
print(rp.can_fetch('Googlebot', 'https://www.baidu.com/homepage/'))  	# False
# 爬虫名称为空或在robots协议中找不到，就匹配"User-agent: *"，禁止所有爬虫访问所有目录
print(rp.can_fetch('', 'https://www.baidu.com'))  						# False

4、实际案例

# Python版本：3.6
# -*- coding:utf-8 -*-

import requests
from urllib.parse import urlencode
from urllib.robotparser import RobotFileParser

rp = RobotFileParser("https://www.baidu.com/robots.txt")
rp.read()

dic = {'wd':'爬虫'}
url = 'https://www.baidu.com/s?ie=utf-8&' + urlencode(dic)
url2 = 'https://www.baidu.com/'

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                 'Chrome/98.0.4758.80 Safari/537.36'
}

"""
can_fetch方法的第1个参数，填爬虫的名称，可从robots.txt文件中寻找；第2个参数，填要爬取网站的链接
"""
if rp.can_fetch('Baiduspider',url):
    print(f'正在爬取网站：{url}')
    res = requests.get(url=url,headers=headers)
    print(res.text)
elif rp.can_fetch('Baiduspider',url2):
    print(f'正在爬取网站：{url2}')
    res = requests.get(url=url2,headers=headers)
    print(res.text)
else:
    print('网站不允许任何爬虫，爬取网站的内容。')

# output:(程序只执行elif分支结构，只有变量url2的链接能爬到内容)