构建一个自己喜欢的项目
构建一个项目,不能太复杂,复杂了耽搁时间过于长
也不能太简单了,太简单了没有挑战价值,
而且,还必须合法
项目构思
1. 借用爬虫爬取百度新闻,把百度新闻进行聚焦,汇总排行榜新闻,每日进行叠加
2. 汇总公司的流程,参考公司有挑战性的接口,进行克隆,编写,最终呈现一个网页,显示数据库的排行榜
3. 找一个免费,可以支持爬虫的网站,爬取数据做数据源,参考网页写一个类似的网页
分析构思
想法1 : 爬取网页,进行汇总,用网络内数据做数据源准备,后期搭建一个自己的项目,迭代;缺点:违法
想法2 : 参考公司的流程,编写接口,这种接口,呈现结果符合显示,可是,最好私人产品和公司流程不要起冲突.
想法3 : 找一个开源的网站,支持rebots协议,有这样的网站吗?最终决定参考该网站 https://ssr1.scrape.center/page/1
项目雏形:
项目:两个页面
参考Scrape页面,以列表形式呈现影视列表:
包含内容: 影视图片,影视名字,影视类型,影视规格,年份,地区,时长,评分
支持:点击影视图片,,影视名字,跳转影视详情页
在页面头部,增加搜索按钮,支持内容搜索
搜索条件:,影视名字,影视类型,影视规格,年份,地区,时长,评分,导演,演员
搜索什么按什么字段排序,搜索返回相关影视列表
支持:点击影视图片,,影视名字,跳转影视详情页
影视详情页
通过影视所搜内容或者电影列表跳转影视详情页
展示内容:影视图片,影视名字,影视类型,影视规格,年份,地区,时长,评分,影视简介,导演,导演图片,演员,演员图片
接口构思:
三个接口,一个数据库
数据库使用sqLite(便携)
4张表
表一 : 影视表
表二 : 演员表
表三 : 导演表
表四 : 影视详情表
接口1 :
sq加工接口
目标: 访问接口把爬取数据实时同步到数据库
请求方式: post请求
入参: appkey(鉴权码),sepNum(流水号),时间戳(timestamp)
接口流程:访问接口,把实时数据写入数据库
出参: 查询部数,写入部数,写入日期,成功部数,失败部数,成功率,重复的数据不存入数据库
接口2 :
和接口3功能重复,取消
列表接口:
目标: 访问网站展示影视详情页
请求方式: get
入参: sepNum(流水号),时间戳(timestamp),页数
出参:影视图片,影视名字,影视类型,影视规格,年份,地区,时长,评分,总计页数 (默认每页展示10条)
接口3 :
列表查询接口:
目标: 输入查询条件查询数据库信息,进行返回,不输入则全部返回
请求方式: post请求
入参: 影视名字,影视类型,影视规格,年份,地区,时长,评分,导演,演员,sepNum(流水号),时间戳(timestamp)
出参: 影视图片,影视名字,影视类型,影视规格,年份,地区,时长,评分,展示所有,不支持为空,支持模糊
接口4 :
影视详情接口:
目标: 输入查询条件查询数据库信息,进行返回
请求方式: post请求
入参:
出参: 影视图片,影视名字,影视类型,影视规格,年份,地区,时长,评分,展示所有,不支持为空,支持模糊,sepNum(流水号),时间戳(timestamp)
出参: 影视图片,影视名字,影视类型,影视规格,年份,地区,时长,评分,影视简介,导演,导演图片,演员,演员图片
