[Python知识库]爬虫学习笔记——我的第一个小爬虫

接下来正文开始：

应用流程

获取页面$\to$?解析网页$\to$?储存数据

一个简单爬虫实例

获取

#coding: utf-8

import requests
link="http://www.santostang.com/"
headers={'User-Agent':'Mozilla/5.0 (Windows;U;Windows NT6.1;en-US;rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
r=request.get(link,headers=headers)
print(r.text)

1. 首先定义link(链接)表示抓取的网址地址
2. headers定义请求头的浏览器代理，进行伪装（第一个是“User-Agent”表明为浏览器代理，第二个为具体内容
3. r是response对象，即请求获取网页的回复
4. get函数有两个参数（第一个是网址地址，第二个是请求头）
5. text为文本内容，在此是HTML格式

提取

可直接看网页源代码或利用“检查“（在网页中点击右键）以获得所需信息，包括但不限于请求头、HTML源码

#coding: utf-8
import requests
from bs4 import *

# 获取
link="http://www.santostang.com/"
headers={'User-Agent':'Mozilla/5.0 (Windows;U;Windows NT6.1;en-US;rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
r=request.get(link,headers=headers)
soup = BeautifulSoup(r.text, "html.parser") #用BeautifulSoup进行解析，parser解析

# 定位class是post-title的h1元素，提取其中a中的内容(text)并去除空格
title = soup.find("h1", class_="post-title").a.text.strip()
print(title)

1. 获取文本后，利用BeautifulSoup对其进行解析，BeautifulSoup是专门解析HTML的库
2. BeautifulSoup(r.text, “html.parser”)中r.text是需要解析的字符串，"html.parser"是使用的解析器。"html.parser"是Python自带的；另外还有”lxml“，是基于c语言的一个解析器，不过需要自己安装
3. find有两个参数，第一个为节点，在此处为h1，还有p……一般h1为标题，p为段落；第二个为类名，此处为"post-title"，以 HTML写出即为<h1 class="post-title"></h1>
4. a元素，是超链接元素

储存

#coding: utf-8
import requests
from bs4 import *

# 获取
link="http://www.santostang.com/"
headers={'User-Agent':'Mozilla/5.0 (Windows;U;Windows NT6.1;en-US;rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
r=request.get(link,headers=headers)

# 提取
soup = BeautifulSoup(r.text, "html.parser") #用BeautifulSoup进行解析，parser解析

# 定位class是post-title的h1元素，提取其中a中的内容(text)并去除空格
title = soup.find("h1", class_="post-title").a.text.strip()

with open("first_spider.txt", "a+") as f:
    f.write(title)

把title储存到first_spider.txt中