IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 开发工具 -> 我的第一个scrapy爬取案例 -> 正文阅读

[开发工具]我的第一个scrapy爬取案例

爬取博客园首页信息

创建一个scrapy项目

scrapy startproject 项目名

?创建一个爬虫

scrapy genspider 爬虫名 域名

?

目录结构如下:

修改settings.py

把以下内容取消注释

DEFAULT_REQUEST_HEADERS = {
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept-Language': 'en',
}
ITEM_PIPELINES = {
    'onesc.pipelines.OnescPipeline': 300,
}

我要抓取的是这些文字以及链接

接下来我要修改items.py和firstspider.py

items.py

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class OnescItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    tit = scrapy.Field()#链接的文字
    tit1 = scrapy.Field()#链接的地址
    tex = scrapy.Field()#链接下面的文字

分析页面结构

修改firstspider.py

import scrapy
from scrapy import item
from onesc.items import OnescItem

class FirstspiderSpider(scrapy.Spider):
    name = 'firstspider'
    allowed_domains = ['www.cnblogs.com']
    start_urls = ['https://www.cnblogs.com/']

    def parse(self, response):
       item = OnescItem()
       item['tit'] = response.xpath('//a[@class="post-item-title"]/text()').extract()
       item['tit1'] = response.xpath('//a[@class="post-item-title"]/@href').extract()
       item['tex'] = response.xpath('//p[@class="post-item-summary"]/text()').extract()
       yield item

之后我们要对抓下来的数据进行保存

pipelines.py

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


class OnescPipeline:
    def process_item(self, item, spider):
        title = item['tit']
        titleurl = item['tit1']
        text = item['tex']
        with open('list.txt','w')as f:
            data=''
            for x,y,z in zip(title,titleurl,text):
                data+=x.strip()+'\t'+y.strip()+'\n'+z.strip()+'\n\n'
            f.write(data)
        return item

在scrapy.cfg的同级目录运行项目

scrapy crawl 爬虫的名字

?

结果

?

?

  开发工具 最新文章
Postman接口测试之Mock快速入门
ASCII码空格替换查表_最全ASCII码对照表0-2
如何使用 ssh 建立 socks 代理
Typora配合PicGo阿里云图床配置
SoapUI、Jmeter、Postman三种接口测试工具的
github用相对路径显示图片_GitHub 中 readm
Windows编译g2o及其g2o viewer
解决jupyter notebook无法连接/ jupyter连接
Git恢复到之前版本
VScode常用快捷键
上一篇文章      下一篇文章      查看所有文章
加:2021-11-14 21:55:41  更:2021-11-14 21:57:08 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/23 22:41:32-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计