[Python知识库]关于Python爬虫

关于爬虫

互联网上的爬虫

爬虫程序是一个程序，根据Url进行爬取网页，获取有用的信息。

模拟人使用浏览器，向服务器发送请求，获取会返回的数据。

爬虫的核心：

1.爬取整个网页，包含网页中的所有的内容

2.解析数据，将网页中的数据进行分析

3.难点是爬虫和反爬虫之间的博弈

爬虫的用途：

1. 数据分析

2.社交软件冷启动

3.舆情监控

4.竞争对手监控

爬虫分类

通用爬虫：百度，360， Google， 搜狗等搜索引擎

访问网页，抓取数据，数据存储，数据处理，提供检索服务

robots协议：一个约定俗成的协议，添加robots.txt，来说明网站哪些内容内容不可以被抓取，起不到限制作业，自己写的爬虫无需遵守。

网站排名SEO：

１.根据pagerank算法值进行排序

2.百度竞价排名

缺点：爬取的数据大多数是无用的，不能根据用户的需求来精准获取数据

聚焦爬虫：

根据需求，实现爬虫程序，抓取需要的数据

设计思路：

1.确定要爬取的url

2.模拟浏览器通过http协议访问URL，获取服务器返回的HTML代码

3.解析HTML字符串