课程导学

本次课程我们将会讲解从移动端app数据抓取到数据存储的完整实战流程。通过这门课我们会学习到
课程技术点
1.学会uiautomator2对移动设备进行操控
没有移动真实的手机没有关系,本套课程也可以使用安卓模拟器,通过uiautomator2也可以控制安卓模拟器达到一样的效果,同样可以抓取到app端的数据,我们将会介绍2个实例,滑动九宫格以及登录考研帮app获取考研资讯,来展示如何通过各种定位方式来操控移动端app。 移动设备搭建好了之后,如何才能够获取到app里的数据呢?
2.学会抓包利器的使用
我们会带大家学习抓包利器的使用,满足大家在技术上以及工作上的需求, 通过这些抓包工具,可以抓取到移动端app数据的数据接口
3.学会使用Python编写移动端自动化抓取脚本
有了自动化控制app行为,以及抓包工具解析app数据接口,再结合Python自动化抓取脚本,就可以实现APP数据的抓取了。
掌握的技能
学会了这些技能之后,可以做哪些功能呢?
1.数据分析

我们可以拿到app数据后,对数据进行分析,拿到某汽车app的报价数据,通过对数据分析建模可以对公司现有的汽车业务进行估价。
2.用户画像

可以抓取app数据后,分析用户的数据,比如说消费、需求等。 这对于制定的用户画像,进行广告的精准投放。
3.统计系统

通过抓取到的app数据,可以实现一个统计系统,比如说报表数据可以展现出来,
4.商业竞争

通过抓取竞争对手在app上的投放数据,比如说竞争对手在某一个城市启动了一个产品,可以对这个城市的营销数据趋势分析 ,这样就能知道竞争对手的运营状况,从而制定响应的竞争策略。
学习的收获
1.实现技能提升

如果你之前只会抓取web端的数据,那现在可以来抓取app端的数据了
2.面试必备

当你进行跳槽面试时,爬虫工程师少不了会问到这些问题,比如如何抓取app数据,抓去过哪些应用的数据,多设备app应用数据是如何抓取的,抓包工具是如何进行使用的,抓取到的数据是如何进行分析的,等等。
App数据好抓吗
app端的数据比web相对好抓取一点,反爬虫也没那么厉害,大部分都是http、https协议返回的数据大都为json,直接对json数据进行解析就可以,
需要的技术储备
1.python爬虫开发经验
2.安卓开发基础
课程设计
1.uiautomator2

课程开始,我们会对大家进行环境搭建的讲解,将会讲解uiautomator2移动端自动化框架环境的搭建,介绍uiautomator2包含了哪些模块,如何通过windows环境接通移动设备,如何进行uiautomator2项目的初始化
2.weditor

安装好移动端自动化框架之后,将会讲解如何通过uiautomator2去操控移动设备,通过可视化控件工具weditor去获取app应用控件的属性。这里会讲解各种定位方法,去控制移动端app。这样就可以完全操控移动端app的需求,并且通过uiautomator2进行定位。我们会通过自动滑动九宫格解锁移动设备和自动化登录考研帮app来实战讲解整个过程。
3.抓包工具

我们会讲解web端抓包工具fiddler, 它不仅可以抓网页端的包,还可以抓app端的包,我们还会讲解第二款抓包工具,mutmproxy,可以通过这个抓包工具进行数据的抓取分析,最重要的是这款工具可以和Python脚本进行交互,从而能够将数据获取到并用Python进行处理。
4.实战抓取抖音app

用了自动化控制app应用的行为,以及通过抓包工具解析抓取到的数据,结合Python爬虫脚本,就可以非常完善的实现数据获取的功能了。 接下来,我们会通过uiautomator2,模拟滑动端视频,我们就可以抓取到诸如用户名称,头像,昵称,企业数据,个性签名,背景音乐名称,背景音乐下载地址,视频所在地, 视频url,抖音ip,评论数,下载数量,转发数,分享数,视频下载地址等等的数据。
5.多设备同步抓取

我们会讲解多进程的方式,支持多台设备同时抓取数据
课程特点
1.循序渐进,由浅入深
每一步都会进行详细的讲解
2.趟雷式教学
每一个安装步骤使用步骤遇到的坑都会给大家讲解
3.多工具对比
从课程设计中,我们选取多宽工具进行对比讲解
4.多实例展示
我们会抓取多个应用的数据
5.紧贴技术的潮流
这个技术永远都不会过时
|