[大数据] Python获取信息并保存MongoDB实例

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Python获取信息并保存MongoDB实例 -> 正文阅读

[大数据]Python获取信息并保存MongoDB实例

前言
Python连接数据库是十分必要的操作，我这次用的是MongoDB数据库保存数据。这类的文章一般都不容易审核，所以就不多说废话，直接开搞，完整源码放在最后，有需要自取。

效果展示：
在这里插入图片描述
导入所需要的相关库

import requests
import pymongo

连接数据库并建库和集合名称自取

#指定本地地址和数据库连接端口号，环回口地址就可以。
client = pymongo.MongoClient(host='127.0.0.1',port=27017)
#创建数据库
db = client.shucai
#创建集合
collection = db.shucai

定义函数，为这个集合传数据，一个一个的传

#定义函数，为这个集合传数据，一个一个的传
def  save_mongo(dic):
    collection.insert_one(dic)

定义函数main，用来获取信息以及传参的操作。

def main():

以下都是函数命令
表单数据

#表单数据
    data = {
        'limit':'',
        'current':'',
        'pubDateStartTime':'',
        'pubDateEndTime':'',
        'prodPcatid':'',
        'prodCatid':'',
        'prodName':'',
    }

伪装头部

#伪装头部
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/.058.102 Safari/537.36'
    }

信息来源URL

#信息来源URL
    url = 'http://www.xinfadi.com.cn/getPriceData.html'

外层定义一个range（取前不取后）用来规定获取的页数

    #外层定义一个range（取前不取后）用来规定获取的页数
    for i in range(1,11,):
        #为表单传入数据，用来达到翻页的效果
        data = {'current':f'{i}'}
        #POST请求
        respomse = requests.post(url=url, data=data, headers=headers)
        #json格式数据
        d = respomse.json()
        li_list = d['list']
        print(li_list)

对响应进行字典进行遍历，利用键精确获取相应的值

        for li in li_list:
            prodCat = li['prodCat']
            prodPcat = li['prodPcat']
            prodName = li['prodName']
            lowPrice = li['lowPrice']
            avgPrice = li['avgPrice']
            highPrice = li['highPrice']
            place = li['place']
            specInfo = li['specInfo']
            unitInfo = li['unitInfo']
            pubDate = li['pubDate']
            print(prodCat,prodPcat,prodName,lowPrice,avgPrice,highPrice,place,specInfo,unitInfo,pubDate)

为获取到的信息取别称

 #为获取到的信息取别称
            dic = {
                '一级分类':prodCat,
                '二级分类':prodPcat,
                '菜名':prodName,
                '最低价':lowPrice,
                '平均价':avgPrice,
                '最高价':highPrice,
                '产地':place,
                '规格':specInfo,
                '单位':unitInfo,
                '日期':pubDate,
            }

将参数传入到MongoDB数据库集合内

  #将参数传入到MongoDB数据库集合内
            save_mongo(dic)

运行主函数

#运行主函数
main()

完整代码：

#导入数据库
import requests
import pymongo
#连接数据库
client = pymongo.MongoClient(host='127.0.0.1',port=27017)
#创建数据库库
db = client.shucai
#创建集合
collection = db.shucai
#定义函数，为这个集合传数据，一个一个的传
def  save_mongo(dic):
    collection.insert_one(dic)
#定义函数，用来获取信息以及传参的操作。
def main():
    #表单数据
    data = {
        'limit':'',
        'current':'',
        'pubDateStartTime':'',
        'pubDateEndTime':'',
        'prodPcatid':'',
        'prodCatid':'',
        'prodName':'',
    }
    #伪装头部
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/9
    }
    #信息来源URL
    url = 'http://www.xinfadi.com.cn/getPriceData.html'
    #外层定义一个range（取前不取后）用来规定获取的页数
    for i in range(1,11,):
        #为表单传入数据，用来达到翻页的效果
        data = {'current':f'{i}'}
        #POST请求
        respomse = requests.post(url=url, data=data, headers=headers)
        #json格式数据
        d = respomse.json()
        li_list = d['list']
        print(li_list)
        #对响应进行字典进行遍历，利用键精确获取相应的值
        for li in li_list:
            prodCat = li['prodCat']
            prodPcat = li['prodPcat']
            prodName = li['prodName']
            lowPrice = li['lowPrice']
            avgPrice = li['avgPrice']
            highPrice = li['highPrice']
            place = li['place']
            specInfo = li['specInfo']
            unitInfo = li['unitInfo']
            pubDate = li['pubDate']
            print(prodCat,prodPcat,prodName,lowPrice,avgPrice,highPrice,place,specInfo,unitInfo,pubDate)
            #为获取到的信息取别称
            dic = {
                '一级分类':prodCat,
                '二级分类':prodPcat,
                '菜名':prodName,
                '最低价':lowPrice,
                '平均价':avgPrice,
                '最高价':highPrice,
                '产地':place,
                '规格':specInfo,
                '单位':unitInfo,
                '日期':pubDate,
            }
            #将参数传入到MongoDB数据库集合内
            save_mongo(dic)
#运行主函数
main()