[Python知识库]云学python （第5章对象带你飞之爬虫）《vamei-从Python开始学编程》 笔记

5.5写一个爬虫

（这一章我失败了，暂时放弃一下）

一个网络爬虫能自动浏览网页，并从网页上抓取我们想要的信息。网络爬虫应用很广，很多搜索引擎都是用爬虫抓取并分析网页信息，从而让不同的网页对应不同的搜索关键字。许多研究互联网行为的学者也会用爬虫抓取网络信息，用来进一步分析人们使用互联网的行为。还有一些下载网络视频或图片的软件，也是基于爬虫来完成主要工作的。很多时候，爬虫可以非常复杂，运行起来也相当耗时。?这里用爬虫做一件简单的事，即让它访问笔者的博客首页，提取出最近文章的发表日期和阅读量。

第一步当然是访问博客首页，获得首页的内容。根据5.4节的内容，?这非常简单。笔者的博客的地址是，www.cnblogs.com/vamei主机地址是?www.cnblogs.com,资源位置是/vameio这个页面是一个超文本文件，所?以我们用HTTP协议访问：

import?http.client

conn = http. client.HTTPConnection("www. cnblogs. com") #?主机地址

这里的content是列表，列表的每个元素是超文本的一行。对于我们所关心的信息来说，它们存在的行看起来是下面的样子:

<div class="postDesc">posted?@?2014-08-12?20:55?Vamei?阅读(6221)评论(11)?<a href ="博客后台 - 博客园" rel= "nofollow">?编辑?</ax/div>

我们想要的信息，如2014-08-12 20:55,以及阅读量6221镶嵌在一串?文字中。要想提取出类似这样的信息，我们很自然地想到了?5.3节的正则表达式：

import re pattern?=?"posted @ (\d{4}-[0-l]\d-(0-3}\d [0-2]\d: [0-6]\d) Vamei?阅读?\((\d+)\)评论”

for line in content:

m = re.search(patternline)

if m != None:

print(m.group(l)m.group(2))

2014-09-01 05:41 9073

根据本章的内容，你还可以把日期转换成日期对象，进行更复杂的?操作，如查询文章是星期几发表的。你还可以把上面的内容写入文件，长久的保存起来。可以看到，这个简单的程序中包含了不同方面的知识内容。

#我失败的代码：

import http.client

conn = http.client.HTTPConnection("www.twosetapparel.com")
conn.request("GET","/collections/shop-all/products/twoset-practice-sweater-vest")
response = conn.getresponse()

content = response.read()
content = content.split("\r\n")
#主要是这一行的问题：TypeError: a bytes-like object is required, not 'str'

print(str(content))


import re

pattern = "posted @ (\d{4}-[0-1]\d-{0-3}\d [0-2]\d:[0-6]\d) Vamei 阅读\((\d+)\)评论"
for line in content:
    m = re.search(pattern,line)
    if m !=None:
        print(m.group(1),m.group(2))

????????

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖