| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> Python知识库 -> Python+selenium模块爬虫实战---拉勾网 -> 正文阅读 |
|
[Python知识库]Python+selenium模块爬虫实战---拉勾网 |
Python+selenium模块爬虫实战---拉勾网一. 项目需求项目需求:实现一个可以自动获取拉钩网" 自定义搜索 "的岗位招聘信息的爬虫程序。 实现工具:Pycharm 二. selenium概述Selenium是一个用于web应用程序自动化测试的工具,直接运行在浏览器当中,支持chrome、firefox等主流浏览器。可以通过代码控制与页面上元素进行交互(点击、输入等),也可以获取指定元素的内容。 作用:自动打开浏览器,模拟人一样的操作去操控浏览器,可以在selenium中直接提取网页上的各种信息。 关于selenium模块的使用和详解以下网址可供参考 三. 爬虫思路1.导入selenium库及其他相关的库 四. 代码实现1.导入selenium库及其他相关的库
2.创建一个浏览器对象并打开拉钩网址
3.实现点击所需地区的选择 在页面任意空白区域点击右键,选择“ 检查 ”,点击如图红色方框内的小箭头,再回到页面进行所需城市的选取 如上图所示,在选取完城市广州后,在右边会有区域进行相互对应。 再在蓝色的区域进行鼠标右键点击,选择 Copy,再在其下选择 Copy XPath
4.打开检查,使用xpath定位到搜索框 实现步骤跟以上类似,使用检查里面的元素面板,获取到对应的XPath进行定位。
7.查找所需招聘信息存放的位置,进行数据提取 由于搜索岗位后的岗位信息网页结构没有发生改变,故用搜索python岗位的信息为例,获取信息存放的位置,进行数据提取。 首先先定位获取到所有的招聘岗位的信息,如下图可以看到每个岗位的招聘信息(蓝色框)都是在大的红色框内的
在以定位好的红色框内,再对蓝色框内的具体所需岗位信息进行细化提取,使用for循环将每一条招聘信息提取出来。方法同上,使用Copy XPath的值即可快速定位到所需的信息。
代码呈现
爬取效果呈现: 五. 完整代码小博主第一次发博客,制作不易,看完的点个赞👍支持一下小博主叭,加油加油!
哈哈哈如果对你有帮助的话不妨点个赞👍吧,如对内容有任何调优意见欢迎指出!多多指教!!! |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 | -2024/12/25 14:09:49- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |
数据统计 |