[人工智能]【爬虫】Laza大商品采集维度数据分析

Laza大

东南亚地区最大的在线购物网站之一。 获得德国创业孵化器RocketInternet桑威尔兄弟(SamwerBrothers)支持，目标主要是印尼、马来西亚、菲律宾以及泰国用户。 该集团自2016年起成为阿里巴巴集团东南亚旗舰电商平台。

采集目标

采集新加坡地区的手机分类商品，并通过个维度指标进行占比分析。

爬虫代码开发

该网站没有设置复杂反爬虫机制，只需要挂上随机ip请求即可。
这里就不在分析反爬虫解析了。

爬虫code

直接上采集代码

import requests
import re
import os, json, pymongo, redis
# os.environ["http_proxy"] = "http://127.0.0.1:58889"
# os.environ["https_proxy"] = "http://127.0.0.1:58889"
db = pymongo.MongoClient(up)['tmalls']['lazada']
class Lazada():
    def __init__(self):
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36',
        }

    def get_ip(self):
        client = redis.Redis(ip, db=5, charset='utf8')
        proxy = client.randomkey()
        proxy = proxy.decode()
        proxies = {"http": proxy, "https": proxy}
        return proxies

    def send_request(self, url):
        i = 0
        while i<5:
            try:
                response = requests.get(url, headers=self.headers, timeout=3, proxies=self.get_ip())
                if response.json().get('mods'):
                    return response
                i += 1
                print('重试请求!')
            except Exception as e:
                print(f'{e}, 重试请求!')
                i += 1

    def gpage(self, page):
        response = self.send_request(f'https://www.lazada.sg/shop-mobiles/?ajax=true&page={page}')
        # pageData = re.findall('pageData = ({.+});', response.text)[0]
        res = response.json()
        items = []
        for item in res['mods']['listItems']:
            item["_id"] = item['nid']
            items.append(item)

        self.write_db(items)

    def write_db(self,items):
        try:
            db.insert_many(items,ordered=False)
        except:
            print('重复插入!')
if __name__ == '__main__':
    lzd = Lazada()
    for page in range(1, 100):
        print(page)
        lzd.gpage(page)

采集数据展示

数据分析

价格区间分析

新加坡地区手机卖家价格分布图展示

由统计图可以看出$200-$500之间的手机商品最多，$2300-$2500之间的手机商品最少。

评价数量排行

评价数量top20的数据展示

大部分手机商品的评价在150-250条之间。

发货地区占比

绝大多数商品是由新加坡直接发出，很少一部分商品是中国和中国香港发出。

手机品牌占比

从饼图可以看出在新加坡地区最热销的品牌是三星，国产手机品牌也分到了半壁江山。为中国制造点赞。

结语

以上就是今天分享的lazada商品采集分析的内容，感谢观看！

17610352720 定制开发

仅供学习参考
仅供学习参考
仅供学习参考