IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> 最新!Python爬虫项目案例讲解一步步教你爬取淘宝商品数据 -> 正文阅读

[Python知识库]最新!Python爬虫项目案例讲解一步步教你爬取淘宝商品数据

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542 

完整代码可以加Python学习交流群:1039649593?找管理员免费领取

前言

随着互联网时代的到来,人们更加倾向于互联网购物,某宝又是电商行业的巨头,在某宝平台中有很多商家数据,今天带大家使用python+selenium工具获取这些公开的商家数据

环境介绍:

  • python 3.6
  • pycharm
  • selenium
  • csv
  • time
  • random

这次的受害者:淘宝购物平台

1. 创建一个浏览器对象

from selenium import webdriver
driver = webdriver.Chrome()

2. 执行自动化页面操作

driver.get('https://www.taobao.com/')
driver.maximize_window()  # 最大化浏览器
driver.implicitly_wait(10)  # 设置浏览器的隐式等待, 智能化的等待

到这一步,你就可以自己运行代码看看可不可以自动打开你的浏览器进入淘宝的首页

3. 根据关键字搜索商品, 解决登录

复制它的xpath,用xpath语法提取页面标签的元素

def search_product(keyword):
    # 输入框的标签对象
    driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword)

word = input('请输入你要搜索商品的关键字:')

运行代码

前面搞定了搜索框的,现在来写点击搜索按钮的,同样复制它的xpath

# 为了避免被检测
import time  # 时间模块  内置模块
time.sleep(random.randint(1, 3))  # 随机休眠1到3秒
driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()

4. 解决登录

点击了搜索按钮以后,会弹出登录界面给你,那就继续解决登录

driver.find_element_by_xpath('//*[@id="fm-login-id"]').send_keys(TAO_USERNAME)
time.sleep(random.randint(1, 2))
driver.find_element_by_xpath('//*[@id="fm-login-password"]').send_keys(TAO_PASSWORD)
time.sleep(random.randint(1, 2))
driver.find_element_by_xpath('//*[@id="login-form"]/div[4]/button').click()

5. 解析数据

获取目标数据的div标签

def parse_data():
    # 所有div标签
    divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfix"]/div/div')  

用for循环遍历取值

for div in divs:  # 二次提取
    title = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
    price = div.find_element_by_xpath('.//strong').text + '元'  # 商品价格  # 手写
    deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text  # 付款人数  # 手写
    name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text  # 店铺名称  # 手写
    location = div.find_element_by_xpath('.//div[@class="location"]').text  # 店铺地址  # 手写
    detail_url = div.find_element_by_xpath('.//div[@class="pic"]/a').get_attribute('href')  # 详情页地址  # 手写

    print(title, price, deal, name, location, detail_url)

运行代码,可以看到获取的数据了

6. 最后一步,保存数据

import csv

with open('淘宝.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_write = csv.writer(f)  # 实例化csv模块写入对象
    csv_write.writerow([title, price, deal, name, location, detail_url])

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2021-07-30 12:42:21  更:2021-07-30 12:42:52 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/25 14:58:18-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计