[开发测试]＜爬虫＞ 通过selenium爬取历史电力数据

网址：Sonnagh, Ireland Weather History | Weather Underground

观察

通过观察发现，不同日期的数据网址的末尾有差别。例如，2019年11月1号和2号的数据网址分别如下：

https://www.wunderground.com/history/daily/ie/sonnagh/EIKN/date/2019-11-1

https://www.wunderground.com/history/daily/ie/sonnagh/EIKN/date/2019-11-2

因此只需要改变网址末尾的日期就可以爬到不同日期的数据。

代码

from selenium import webdriver
from bs4 import BeautifulSoup as bs
import time
import pandas as pd

获取网页的源代码函数，要等待网站加载完才能爬到数据，因此设置time.sleep( )

def get_soup(url):
    browser.get(url)
    time.sleep(9)
    html = browser.page_source # 获得网页源代码
    soup = bs(html) 
    return soup

按照网页的结构找到需要的

开通VIP 解锁文章