抖音数据爬取过程中遇到的几个问题
软件版本,模拟器版本真的很重要!软件版本,模拟器版本真的很重要!软件版本,模拟器版本真的很重要!
Appium中服务启动后的页面和SDK中的UIautomatorviewer.bat的作用一样都是用来获取控件id,便于对App中的控件进行操作。 连接模拟器端口的脚本是用来对数据进行存储操作的,pycharm中运行的appium脚本是用来实现自动化的,可以等价的理解为前端(Appium操作)+后台(数据获取操作) 大体步骤:fiddler获取软件js页面,获取控件名称====》py脚本实现控件的数据获取操作====》appium实现自动化(SDK中的Uiautomatorviewer获得控件id或path等用来辅助自动化脚本的实现)
模拟器莫名其妙出现网络无法连接情况解决:
- 检查fiddler是否配置好网络、端口、证书等
- 检查模拟器的网络代理是否改到本地,证书是否下载好
- 打开模拟器上软件前,要先把网络端口打开(fiddler直接打开,mitmproxy的话cmd在脚本文件夹中打开端口)
- 在确定网络代理设置无误后,端口重启(如;fiddler重启),模拟器重启试试
cmd中启动模拟器端口
#定位到py目录
C:\Users\Administrator>E:
E:\>cd E:\python1\douYin\venv
#启动端口
E:\python1\douYin\venv>mitmdump -s pcomments.py -p 8888
使用appium工具实现自动化
获取package: name 使用aapt命令(适用于未安装的app,只知道apk名)
D:\SDK\build-tools\29.0.3>aapt dump badging C:\Users\Administrator\Desktop\com.ss.android.ugc.aweme_6.3.0-630_minAPI16(armeabi-v7a)(nodpi)_apkmirror.com.apk
appium连不上木木模拟器时,启动cmd窗口
C:\Users\Administrator>D:
D:\>cd D:\MuMu\emulator\nemu\vmonitor\bin
D:\MuMu\emulator\nemu\vmonitor\bin>adb_server connect 127.0.0.1:7555
connected to 127.0.0.1:7555
D:\MuMu\emulator\nemu\vmonitor\bin>adb_server devices
List of devices attached
127.0.0.1:7555 device
|