一、介绍

主要是通过python的fake_useragent, asyncio, aiohttp,requests,lxml,pandas进行信息的抓取。
对于信息要通过获取Xpath得到对应的信息位置。使用异步方法。

二、代码（部分）

1. 异步方法进行请求

 async def request(self, url):
        async with aiohttp.ClientSession() as session: #创建异步网络请求对象
            try:
                async with session.get(url, headers = self.headers,timeout=3) as response:
                    if response.status == 200 :  # 200说明请求成功
                        result = await response.text() # 获取请求结果中的文本代码
                        return result
            except Exception as e:
                print(e.args) #打印异常信息

2. 发送请求获得页数

  def get_page_all(self,city):
        city_letter = self.get_city_letter(city)
        url = 
        response = requests.get(url,headers=self.headers) #发送网络请求
        if response.status_code == 200:
            html = etree.HTML(response.text)

            page_all = html.xpath('//*[@id="content"]/div[1]/div[2]/@data-totalpage')[0]
            print("租房信息获取成功！")
            # 需要抓取每一页，所以结果+1
            return int(page_all) + 1
        else:
            print('获取所有页码请求未成功！')

3. 异步方法，根据总页数循环解析页面抓取信息，包括标题、区域、面积、楼层、价格

    async def parse_data_all(self, page_all, city):
        for i in range(1,page_all): #根据租房信息总页码，分别对每一页发送网络请求
            city_letter = self.get_city_letter(city)
            if i == 1:
                url = 'https://{}.lianjia.com/zufang/ab200301001000rt200600000001'.format(city_letter, i)
            else:
                url = 'https://{}.lianjia.com/zufang/ab200301001000pg{}rt200600000001'.format(city_letter,i)
            html_text = await self.request(url) #发送请求，获取html代码
            html = etree.HTML(html_text)
            print('获取'+str(i)+'页信息！')

            #获取所有标题
            title_all = html.xpath('//*[@id="content"]/div[1]/div[1]/div/div/p[1]/a/text()')

            #获取大区域位置
            big_region_all = html.xpath('//*[@id="content"]/div[1]/div[1]/div/div/p[2]/a[1]/text()')

            #获取小区位置
            small_region_all = html.xpath('//*[@id="content"]/div[1]/div[1]/div/div/p[2]/a[2]/text()')

            #获取房子面积
            square_all = html.xpath('//*[@id="content"]/div[1]/div[1]/div/div/p[2]/text()[5]')

            #获取房子价格
            price_all = html.xpath('//*[@id="content"]/div[1]/div[1]/div/div/span/em/text()')

            #获取房子格局
            room_all = html.xpath('//*[@id="content"]/div[1]/div[1]/div/div/p[2]/text()[1]')

            # 去除信息中的空格以及换行符
            title_list = self.remove_spaces(title_all)
            big_region_list = self.remove_spaces(big_region_all)
            small_region_list = self.remove_spaces(small_region_all)
         #   region_list = self.combined_regin(big_region_all,small_region_all)
            square_list = self.remove_spaces(square_all)
            price_list = self.remove_spaces(price_all)

            data_page = {'标题':title_list,
                         '区名':big_region_list,
                         '小区/位置':small_region_list,
                         'square':square_list,
                         'price':price_list}
            print('写入第'+str(i)+'页数据！')
            df = pandas.DataFrame(data_page)
            df.to_csv('{}租房信息.csv'.format(city),mode = 'a',encoding='utf_8_sig',index=None)