IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> study06爬虫学习爬取豆瓣电影排行榜,和kfc位置信息作业练习 -> 正文阅读

[Python知识库]study06爬虫学习爬取豆瓣电影排行榜,和kfc位置信息作业练习

简述一下今天 大概干了啥,主要再看爬虫 没看js明天学习一下js,然后有一些问题力扣今天是bfs,dfs搜索题还没写今天要补一下,说一下爬虫把 就豆瓣的,这个案例我原先一直再错后面看评论 ,对参数的理解和get 请求更深一步把 ,感觉还行一步步分析下去就好了

# 经典案例 爬取 豆瓣电影数据
import  requests
import json
url  ='https://movie.douban.com/j/chart/top_list'
param  = {
    'type_name':'喜剧',
    'type':'24',
    'interval_id':'100:90',
    'action':'',
    'start':'0',
    'limit':'20',
}
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) ucko/20100101 Firefox/94.0'}
response = requests.get(url=url,params=param,headers=headers)
list_data = response.json()
fp = open('douban.json','w',encoding='utf-8')
json.dump(list_data,fp = fp,ensure_ascii=False)
print('over')
# 简单说一下这个案例 自己调试 懂了一些参数 和网址  ,总体来说还是算简单 前面几次都错了 ,然后空列表注意了一些小细节 还算可以

然后就是看完的视频作业了,试了一下前面代码错了 得到-1000,后看评论懂了一些得到了数据,但只是第一页的数据 留坑,以后要补充爬取全部数据,然后提出我的问题,为什么post请求后面的参数全部要写 ? 2? 如何获取爬取信息的全部页数 如网址搜索后 出来的页数,

import requests
# 作业 kfc 餐厅位置查询
# 第一步分析 请求头 POST请求消息 看数据内容 ,传回来的是 text 文本 ajax请求 不刷新网址
url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'
}
kw = input()
params = {
'keyword':kw,
'cname':'',
'pid':'',
'pageIndex':'1',
'pageSize':'10',
}
response = requests.post(url=url ,data=params,headers=headers)
page_text = response.text
with open(kw+'.text','w+',encoding='utf-8') as fp:
    fp.write(page_text)
print('over')
# 第一次结果 -1000
# 补充全部参数
# 总结 现在如果要我获取10页的所有信息 我只会循环 ,但应该是js里的索引页数,js还是不会, 留坑

?此代码只能获取第一页, 然后后面的要补充 我问题处红🖊圈一下希望有大佬解答 ,要四级了 要写试卷了

为什么要? 后面的东西 ,还有如何获得页数

?

大概就这些 看看能写出今天的力扣吗?

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2021-12-08 13:46:09  更:2021-12-08 13:46:38 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 5:59:14-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码