IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 开发工具 -> Scrapy 爬取链家租房价格信息 -> 正文阅读

[开发工具]Scrapy 爬取链家租房价格信息

北漂的我,前两天准备换个房住,房源信息平台太多,看的人都懵逼了,不知道到底那一片的房子是比较合适的(主要是便宜,又没有太多坑,没办法谁让我穷),于是在git上找了个爬虫项目,爬取一下北京各个片区的房源信息,做个汇总分析。

git上的项目都有点久远,大概是一两年前的写出来的代码,经过使用发现代码中的爬取规则早已不适用于现在 网的HTML结构。经过一段时间的调试改造后可以适用于现在的网页。

最新维护时间? 2022.4月

感兴趣的可以下载下来试一试。

?项目git地址

GitHub - Boris-2021/lianjia_scrapy: 链家爬虫程序,基于scrapy爬虫框架icon-default.png?t=M3K6https://github.com/Boris-2021/lianjia_scrapy

项目代码结构

????????? ? ?????????

如何使用

如何选择目标城市进行爬取

以爬取链家北京地区网站上的信息为例

?

?你只需要在spyder.py文件中更改必要的网站链接!!

<https://bj.lianjia.com/zufang> 这个网页是北京地区的链接

?

注意:链接前边这两个字母表示城市首字母的缩写?!!!

北京是这样<https://bj.lianjia.com/zufang>

杭州则是这样<https://hz.lianjia.com/zufang>

所以你想要爬取某个城市的数据的话,你只需要更改spyder.py文件中所有链家URL中,代表地区的这两个子母。

如何启动爬虫项目

scrapy常用命令参考

Scrapy常用命令_云飞扬°的博客-CSDN博客_scrapy命令一、全局命令1-startproject创建一个新的Scrapy项目:scrapy startproject <project_name> [project_dir]例如:scrapy startproject Crawler51job【注意】项目名称不能以数字开头2-genspider在当前文件夹或者当前项目,创建一个新的爬虫文件scrapy g...https://blog.csdn.net/weixin_44706512/article/details/99729394相信你在前边已经改好了你想要爬取城市的URL。对于本项目,运行爬虫你只需要在下边的terminal中敲入如下命令:

scrapy crawl lianjia

?查看数据

启动之后,经过一段时间的爬取后,

爬取的过程的logj记录在.log文件中,可供查爬取的情况。

爬取的数据结果记录在生成的.json文件中。

?

?

< 解析json2csv.py>脚本帮助你将最终爬取的json格式数据转换为表格形式csv。

<数据处理.py>脚本可以帮助你将csv文件中重复的样本去掉。

项目git地址

GitHub - Boris-2021/lianjia_scrapy: 链家爬虫程序,基于scrapy爬虫框架icon-default.png?t=M3K6https://github.com/Boris-2021/lianjia_scrapy

  开发工具 最新文章
Postman接口测试之Mock快速入门
ASCII码空格替换查表_最全ASCII码对照表0-2
如何使用 ssh 建立 socks 代理
Typora配合PicGo阿里云图床配置
SoapUI、Jmeter、Postman三种接口测试工具的
github用相对路径显示图片_GitHub 中 readm
Windows编译g2o及其g2o viewer
解决jupyter notebook无法连接/ jupyter连接
Git恢复到之前版本
VScode常用快捷键
上一篇文章      下一篇文章      查看所有文章
加:2022-04-29 12:19:58  更:2022-04-29 12:20:38 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/14 14:56:28-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码