[Python知识库]爬虫及数据预处理(链家+雾霾数据)

数据预处理

1.通过爬虫爬取链家的新房数据，并进行预处理。

1.1 分析过程

1.1.1 爬取

? 首先进行数据的爬取，在爬取过程中，出现并解决了以下问题：

? 问题1：数据仅含有总价而不含有均价，且总价出现在均价的位置上

? 解决方案：判断均价位置数据内是否含有’-'符号，若含有则为总价数据，将其内容赋给总价，并将均价置空。

? 问题2：爬取数据不完整

? 解决方案：通过检查源网页，发现共有180条数据，但实际爬取到的数据少于这个数目。经过检查发现因为源网页存在一些数据项为空，比如没有房型信息等。对于这个问题，进行判断检查，对于空值额外处理即可。

? 问题3：反爬机制封禁ip

? 解决方案：在爬取过程中，经常遇到同样的代码时而成功爬取，时而爬取结果不完整或失败。对于这个问题，只需要在问题出现时，进入浏览器完成网页的人机验证即可解封被封禁的ip，完成后续的爬取。

1.1.2 数据预处理

? 完成爬取后，需要进行数据的预处理，分别进行去空格、设置数据类型、求总价相关信息和单价相关信息即可。

1.2 核心代码

1.2.1 spider.py

import scrapy
from test1.items import MyItem #从items.py中引入MyItem对象
class mySpider(scrapy.spiders.Spider):
    name = "lianjia" #爬虫的名字是lianjia
    allowed_domains = ["bj.lianjia.com/"] #允许爬取的网站域名
    start_urls = []

    for pg in range(1,23):
        url = "https://bj.fang.lianjia.com/loupan/pg{}/".format(pg)
        start_urls.append(url)

    def parse(self, response): #解析爬取的内容
        item = MyItem() #生成一个在items.py中定义好的Myitem对象,用于接收爬取的数据
        for each in response.xpath("/html/body/div[3]/ul[2]/*"):
            #用xpath来解析html，div标签中的数据，就是我们需要的数据。
            n = each.xpath("div/div[1]/a/text()").extract()[0]#/html/body/div[3]/ul[2]/li[1]/div/div[1]/a
            if len(n) == 0:  # 最小户型的数据可能不存在，进行判断，如果不存在，那么赋值为''
                item['name'] = ''
            else:
                item['name'] = n

            p1 = each.xpath("div/div[2]/span[1]/text()").extract()[0]
            if len(p1) == 0:  # 最小户型的数据可能不存在，进行判断，如果不存在，那么赋值为''
                item['location1'] = ''
            else:
                item['location1'] = p1

            p2 = each.xpath("div/div[2]/span[2]/text()").extract()[0]
            if len(p2) == 0:  # 最小户型的数据可能不存在，进行判断，如果不存在，那么赋值为''
                item['location2'] = ''
            else:
                item['location2'] = p2

            p3 = each.xpath("div/div[2]/a/text()").extract()[0]#/html/body/div[3]/ul[2]/li[1]/div/div[2]/a
            if len(p3) == 0:  # 最小户型的数据可能不存在，进行判断，如果不存在，那么赋值为''
                item['location3'] = ''
            else:
                item['location3'] = p3

            l0 = each.xpath("div/a/span[1]/text()").extract()#/html/body/div[3]/ul[2]/li[4]/div/a/span[1]
            if len(l0) == 0:  # 最小户型的数据可能不存在，进行判断，如果不存在，那么赋值为''
                item['shape'] = ''
            else:
                item['shape'] = l0[0]

            l1 = each.xpath("div/div[3]/span/text()").extract()#/html/body/div[3]/ul[2]/li[1]/div/div[3]/span
            if len(l1):  # 最小面积的数据存在时，进行提取最小值
                str = l1[0]
                startpos = str.find(" ") + 1
                endpos = str.find("-")
                if endpos == -1:
                    endpos = str.find("m")
                item['area'] = str[startpos: endpos]
            else:  # 最小面积不存在时，赋值为空串''
                item['area'] = ''

            l2  = each.xpath("div/div[6]/div[2]/text()").extract()#/html/body/div[3]/ul[2]/li[1]/div/div[6]/div[2]
            if len(l2): 
                totalPrice = ''
                for i in l2[0]:
                    if i.isdigit():
                        totalPrice += i
                    if i == "-":
                        break
                item['totalPrice'] = totalPrice
            else:
                item['totalPrice'] = ''

            l3 = each.xpath("div/div[6]/div[1]/span[1]/text()").extract()[0]
            endpos = l3.find("-")
            if endpos != -1:
                item['totalPrice'] = l3[:endpos]
                item['unitPrice'] = ''
            elif len(l3) == 0:
                 item['unitPrice'] = ''
            else:
                 item['unitPrice'] = l3

            if(item['name']): #去掉值为空的数据
                yield(item) #返回item数据给到pipelines模块

1.2.2 items.py

import scrapy

class MyItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field() #名称
    location1 = scrapy.Field()#地理位置
    location2 = scrapy.Field()
    location3 = scrapy.Field()
    shape = scrapy.Field()#房型
    area = scrapy.Field()#面积
    totalPrice = scrapy.Field()#总价
    unitPrice = scrapy.Field()#单价

1.2.3 pipelines.py

import csv
class MyPipeline:
    def open_spider(self, spider):
        try:
            self.file = open('lianjia.csv', 'w', newline='')
            self.csv = csv.writer(self.file)
        except Exception as err:
            print(err)

    def process_item(self, item, spider):
        self.csv.writerow(list(item.values()))
        return item

    def close_spider(self, spider):
        self.file.close()

1.2.3 lianjia_data_process.py

import pandas as pd

# 打开CSV文件
fileNameStr = 'lianjia.csv'
orig_df = pd.read_csv(fileNameStr, names=['name','location1','location2','location3','shape','area','totalPrice','unitPrice'],encoding='gbk', dtype=str)
print(orig_df.describe())

# 1.将字符串的列前后空格去掉
orig_df['name'] = orig_df['name'].str.strip()
orig_df['location1'] = orig_df['location1'].str.strip()
orig_df['location2'] = orig_df['location2'].str.strip()
orig_df['location3'] = orig_df['location3'].str.strip()
orig_df['shape'] = orig_df['shape'].str.strip()
orig_df['area'] = orig_df['area'].str.strip()
orig_df['totalPrice'] = orig_df['totalPrice'].str.strip()
orig_df['unitPrice'] = orig_df['unitPrice'].str.strip()

# 2.将aera,unitPrice,totalPrice变为浮点型
orig_df['area'] = orig_df['area'].astype(float)
orig_df['unitPrice'] = orig_df['unitPrice'].astype(float)
orig_df['totalPrice'] = orig_df['totalPrice'].astype(float)

# 3.总价
# 最大值
print("总价：")
imaxpos = orig_df['totalPrice'].idxmax()
print("最贵", orig_df.loc[imaxpos, "totalPrice"], orig_df.loc[imaxpos, "name"])
# 最小值
iminpos = orig_df['totalPrice'].idxmin()
print("最便宜", orig_df.loc[iminpos, "totalPrice"], orig_df.loc[iminpos, "name"])
# 中位数
print("中位数", orig_df['totalPrice'].median())

# 4.单价
# 最大值
print("单价：")
idmaxpos = orig_df['unitPrice'].idxmax()
print("最贵", orig_df.loc[idmaxpos, "unitPrice"], orig_df.loc[idmaxpos, "name"])
# 最小值
idminpos = orig_df['unitPrice'].idxmin()
print("最便宜", orig_df.loc[idminpos, "unitPrice"], orig_df.loc[idminpos, "name"])
# 中位数
print("中位数", orig_df['unitPrice'].median())

orig_df.to_csv("NewLianjia.csv", header=True, encoding="gbk", mode='w+', index=False,float_format='%.4f')

1.3 最终结果及分析结论

程序的输出如下：

csv前50条数据:

? 可以看到，程序成功完成了对网站的爬取，并完成了数据最大值、最小值和中位数的提取，成功达到了题目要求。

2.作业二：雾霾指数数据分析

2.1 分析过程

? 首先读入csv文件，而后对读入数据进行预处理如下：

? ① 删除含有空PM值的行

? ②计算PM平均值：分别计算每一天PM值的和、PM值的数目，而后通过前两个值计算平均值，将这三个数据作为三个新的列加入到表格中。

? ③通过groupby和mean计算PM指数年平均值和10-15年PM指数和温度月平均值的变化情况。

2.2 核心代码

beijing_weather_process.py

import pandas as pd
# 读取文件

filename = 'BeijingPM20100101_20151231.csv'
df = pd.read_csv(filename, encoding = 'utf-8')
# 删除有空PM值的行
df.dropna(axis=0, how='all', subset=['PM_Dongsi','PM_Dongsihuan','PM_Nongzhanguan', 'PM_US Post'], inplace=True)
# 计算PM平均值
df['PMsum'] = df[['PM_Dongsi','PM_Dongsihuan','PM_Nongzhanguan', 'PM_US Post']].sum(axis=1)
df['PMcount'] = df[['PM_Dongsi','PM_Dongsihuan','PM_Nongzhanguan', 'PM_US Post']].count(axis=1)
df['PMave']=round(df['PMsum']/df['PMcount'],2)
aveY_df = df.groupby('year').mean()
aveM_df = df.groupby(['year', 'month']).mean()

print(aveY_df.head())
# 删除不必要的列并将PM年平均值输出到文件
aveY_df.drop(list(aveY_df.columns[[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15]]) , axis = 1 , inplace = True)
aveY_df.to_csv('PM_year_Ave.csv')
# 删除不必要的列并将PM和TEMP月平均值输出到文件
aveM_df.drop(list(aveM_df.columns[[0,1,2,3,4,5,6,7,8,9,10,12,13,14]]) , axis = 1 , inplace = True)
aveM_df.to_csv('PM_TEMP_month_Ave.csv')
# 输出PM年平均值
print(aveY_df)
print('------------------------------------------')
# 输出PM和TEMP月平均值
print(aveM_df)

2.3 最终结果及分析结论

? 最终生成两个csv文件，分别为’PM_year_Ave.csv’存储PM年平均值和’PM_TEMP_month_Ave.csv’存储PM和TEMP月平均值。

2.3.1 PM_year_Ave.csv

2.3.2 PM_TEMP_month_Ave.csv

截取前50行如下：

? 可以看到，程序成功完成了题目要求，生成了PM年平均值和PM-温度月平均值的变化情况表格。
3.890278 | 85.71788 |
| 2013 | 10 | 12.82124 | 388.2151 | 3.803763 | 102.2088 |
| 2013 | 11 | 5.913889 | 339.3264 | 3.983333 | 85.14629 |
| 2013 | 12 | -0.29301 | 352.7715 | 3.846774 | 90.31777 |
| 2014 | 1 | -0.91398 | 424.0255 | 3.900538 | 107.9117 |
| 2014 | 2 | -0.70238 | 580.2366 | 3.816964 | 160.5139 |

? 可以看到，程序成功完成了题目要求，生成了PM年平均值和PM-温度月平均值的变化情况表格。