[Python知识库]爬虫学习一

什么是爬虫？

网络爬虫（web crawler）也叫网页蜘蛛，网络机器人，是一种用来自动浏览万维网的程序或者脚本。爬虫可以验证超链接和HTML代码，用于网络抓取（Web scraping）。网络搜索引擎等站点通过爬虫软件更新自身的网站内容（Web content）或其对其他网站的索引。

爬虫基本流程

准备工作：通过浏览器查看分析目标网页，学习编程基础规范。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 获取数据：通过HTTP库向目标站点发起请求，请求可以包含额外的header等信息，如果服务器能正常响应，会得到一个Response，便是所要获取的页面内容。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 解析内容：得到的内容可能是HTML、json等格式，可以用页面解析库、正则表达式等进行解析。
保存数据：保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件。

?