[Python知识库]python的urllib库简介

python的urllib库简介

urllib库用来实现：向服务器发送请求，得到服务器响应，获取网页响应。
urllib包括以下内容：1、request模块；2、error模块；3、parse模块；4、robotparse模块。
1、request模块：HTTP请求模块，可以用来模拟发送请求，只需要传入URL 额外参数就可以模拟浏览器访问页面的过程。
2、error模块：异常处理模块，检测请求是否报错，捕捉异常错误，进行重试或者其他操作，保证程序不会终止。
3、parse模块：工具模块，提供许多URL 处理方法。如拆分、解析、合并等。
4、robotparser模块：识别网站的robots.txt文件。判断那些网站可以爬