[Python知识库]自动爬取apk并进行分析的小爬虫

背景

最近需要分析一批apk文件，手动下载再上传分析太耗时间，所以用python写了个小爬虫，调用apk3.com和mogua.co两个网站，用来实现手机apk的自动下载、上传、分析功能（分析完回显示查看结果的链接）。

爬虫的两个模块：downapk和upload_scan是基本独立的，所以可以分开来单独使用下载或分析功能。

如果对部分解析apk3网站的代码感兴趣，需自行查看网站的html代码进行研究。mogua网站的代码也可以参考网站的api文档。

需要的工具

1. python3以及需要用到的库：BeautifulSoup、requests等
2. apk下载网站：https://www.apk3.com
3. apk分析网站：https://mogua.co

实现代码

# coding:utf-8

from bs4 import BeautifulSoup
import requests
import re
import urllib
import time
import json
import subprocess

# 上传和分析apk文件
def upload_scan(file0):
	filename = file0
	# 使用mogua.co网站的上传和分析api，api接口自行到网站获取
	mgurl_upload = 'https://mogua.co/api/v1/upload'
	mgurl_scan = 'https://mogua.co/api/v1/scan'
	files = "file=@/data/apk3/"+filename
	print('begin to upload '+files)
	
	# 此处使用requests的post文件功能不成功，该用curl
	uploadresult = subprocess.check_output(
	            'curl -F "{file}" https://mogua.co/api/v1/upload -H "Authorization:xxx"'.format(file=files),
	            shell=True)	
	print(uploadresult)

	djson = json.loads(uploadresult)
	if djson.get('status')=='success':
		print('[+]upload apk success')
		filehash = djson.get('hash')
		fname = djson.get('file_name')
		scanresult = subprocess.check_output(
		            'curl -X POST --url https://mogua.co/api/v1/scan --data "scan_type=apk&file_name={filename}&hash={filehash}"  -H "Authorization:xxx"'.format(filename=fname,filehash=filehash),
		            shell=True)	
		sjson = json.loads(scanresult)
		if sjson.get('title'):
			# 访问链接即可查看分析结果
			print('[+]scan success. view result: '+ 'https://mogua.co/static_analyzer/?name={filename}&{filehash}&type=apk'.format(filename=fname,filehash=filehash))
		else:
			print('[-]scan failed')
	else:
		print('[-]upload failed')

# 下载apk文件
def downapk(dlink):
	apkurl = 'https://www.apk3.com'+dlink
	print('[i]current url: ' + apkurl)
	header = {'User-Agent':'Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)'}
	r1 = requests.get(apkurl,headers=header)
	demo1 = r1.text  # 服务器返回响应	
	soup1 = BeautifulSoup(demo1, "html.parser")
	try:
		apklink = re.findall(r"http://gyxza32\.yjruhu\.com.*?\.apk", demo1)[0]
		apkname = 'apk'+re.findall(r"\d+", dlink)[0]+'.apk'
	
		urllib.request.urlretrieve(apklink,apkname)
		print('[+]download success: '+apkname)
		upload_scan(apkname)
	except:
		return		
	
global count
count = 0

# 使用apk3网站的最新更新apk模块，默认显示20页
for i in range(1,21):
	url = 'https://www.apk3.com/List/add-soft-'+str(i)+'.html'
	# 为防止爬虫被网址ban，使用百度蜘蛛header
	header = {'User-Agent':'Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)'}
	r = requests.get(url,headers=header)
	demo = r.text  # 服务器返回响应	

	soup = BeautifulSoup(demo, "html.parser")
	ginfoList=soup.find_all(name='div',attrs={"class":"ginfo"})

	for j in ginfoList:
			alinks = j.select('a')
			#print(j)
			alink1 = alinks[0]['href']  #获取url
			asize = int(re.findall(r'\d+',str(j.find_all(name='i')[1]))[0])
			# 为节省计算资源，限制apk文件大小小于10M
			if asize > 10:
				continue
			else:
				count =count +1
				downapk(alink1)
	time.sleep(1)
print('done apks: '+str(count))