课程导学
本次课程我们将会讲解从移动端app 数据抓取到数据存储的完整实战流程。通过这门课我们会学习到
课程技术点
1.学会uiautomator2对移动设备进行操控
没有移动真实的手机没有关系,本套课程也可以使用安卓模拟器,通过uiautomator2 也可以控制安卓模拟器达到一样的效果,同样可以抓取到app 端的数据,我们将会介绍2 个实例,滑动九宫格以及登录考研帮app 获取考研资讯,来展示如何通过各种定位方式来操控移动端app 。 移动设备搭建好了之后,如何才能够获取到app 里的数据呢?
2.学会抓包利器的使用
我们会带大家学习抓包利器的使用,满足大家在技术上以及工作上的需求, 通过这些抓包工具,可以抓取到移动端app 数据的数据接口
3.学会使用Python编写移动端自动化抓取脚本
有了自动化控制app 行为,以及抓包工具解析app 数据接口,再结合Python 自动化抓取脚本,就可以实现APP 数据的抓取了。
掌握的技能
学会了这些技能之后,可以做哪些功能呢?
1.数据分析
我们可以拿到app 数据后,对数据进行分析,拿到某汽车app 的报价数据,通过对数据分析建模可以对公司现有的汽车业务进行估价。
2.用户画像
可以抓取app数据 后,分析用户的数据,比如说消费、需求等。 这对于制定的用户画像,进行广告的精准投放。
3.统计系统
通过抓取到的app 数据,可以实现一个统计系统,比如说报表数据可以展现出来,
4.商业竞争
通过抓取竞争对手在app 上的投放数据,比如说竞争对手在某一个城市启动了一个产品,可以对这个城市的营销数据趋势分析 ,这样就能知道竞争对手的运营状况,从而制定响应的竞争策略。
学习的收获
1.实现技能提升
如果你之前只会抓取web端 的数据,那现在可以来抓取app端 的数据了
2.面试必备
当你进行跳槽面试时,爬虫工程师少不了会问到这些问题,比如如何抓取app 数据,抓去过哪些应用的数据,多设备app 应用数据是如何抓取的,抓包工具是如何进行使用的,抓取到的数据是如何进行分析的,等等。
App数据好抓吗
app 端的数据比web相对好抓取一点,反爬虫也没那么厉害,大部分都是http 、https 协议返回的数据大都为json ,直接对json 数据进行解析就可以,
需要的技术储备
1.python爬虫开发经验
2.安卓开发基础
课程设计
1.uiautomator2
课程开始,我们会对大家进行环境搭建的讲解,将会讲解uiautomator2 移动端自动化框架环境的搭建,介绍uiautomator2 包含了哪些模块,如何通过windows 环境接通移动设备,如何进行uiautomator2 项目的初始化
2.weditor
安装好移动端自动化框架之后,将会讲解如何通过uiautomator2 去操控移动设备,通过可视化控件工具weditor 去获取app 应用控件的属性。这里会讲解各种定位方法,去控制移动端app 。这样就可以完全操控移动端app的需求,并且通过uiautomator2 进行定位。我们会通过自动滑动九宫格解锁移动设备和自动化登录考研帮app 来实战讲解整个过程。
3.抓包工具
我们会讲解web 端抓包工具fiddler , 它不仅可以抓网页端的包,还可以抓app端 的包,我们还会讲解第二款抓包工具,mutmproxy ,可以通过这个抓包工具进行数据的抓取分析,最重要的是这款工具可以和Python 脚本进行交互,从而能够将数据获取到并用Python 进行处理。
4.实战抓取抖音app
用了自动化控制app 应用的行为,以及通过抓包工具解析抓取到的数据,结合Python 爬虫脚本,就可以非常完善的实现数据获取的功能了。 接下来,我们会通过uiautomator2, 模拟滑动端视频,我们就可以抓取到诸如用户名称,头像,昵称,企业数据,个性签名,背景音乐名称,背景音乐下载地址,视频所在地, 视频url,抖音ip,评论数,下载数量,转发数,分享数,视频下载地址等等的数据。
5.多设备同步抓取
我们会讲解多进程的方式,支持多台设备同时抓取数据
课程特点
1.循序渐进,由浅入深
每一步都会进行详细的讲解
2.趟雷式教学
每一个安装步骤使用步骤遇到的坑都会给大家讲解
3.多工具对比
从课程设计中,我们选取多宽工具进行对比讲解
4.多实例展示
我们会抓取多个应用的数据
5.紧贴技术的潮流
这个技术永远都不会过时
|