Akamai是如何做到反爬虫的?
记录在前:当你看到这篇文章,想必你正在爬取某大厂的商品列表、商品库存等有价值的数据,你的请求可能正在被Akamai进行Bot管理,可能你当前无法如愿获取你想要的数据,这篇文章将带你解开一些迷惑。
该技术涉及Sneakers抢购|SNKRS|Nike|TI等平台
联系我们(文末):tigger.run 建设中
akamai 当前已经更新到2.x版本(支持自动化解析^~^),少部分网站还使用1.75版本,懂得都懂,干货放在最后。^~^
相识Akamai
在校期间,热爱爬虫技术,自以为爬虫技术高超的我编写了一些自动下单脚本,能在秒杀活动中购买到自己喜欢的产品。当时的脑子里只有如下几个字线程拉满,代理拉满 ,作为对鞋有一定热爱的Sneaker,总无法避免接触到SNKRS抽签,从此展开与Akamai的漫长岁月。
什么是Akamai
Akamai(阿卡迈)定位目的为“提供安全数字化体验” ,对安全的重视度一直颇高。基于其在全球分布广泛的分发平台而提供的DDoS缓解服务,以及作为Web应用防火墙(WAF)的领先厂商,这是Akamai之前在网络安全领域最令人印象深刻的两个能力。 绍Akamai近一年安全领域两个最新的关注点:API流量的安全,以及由撞库攻击延伸的爬虫管理。Akamai认为的现今的一个重要威胁趋势。数据泄漏,低成本撞库工具的培训,受入侵账户的二次销售,这已经成为一个黑色产业链。
Akamai真的安全吗
作为从Akamai1.5(20年)开始跟踪学习相关反爬虫技术的菜鸡来说,我认为Akamai很安全,在面对海量的请求攻击时,在边缘对请求进行拦截,有效减少机器人流量打入真实服务器。并且当前几乎每日更新的Akamai在混淆加固上做了提升,使得软件在客户端部署时更为安全,展示的代码几乎没有可读性。
我对Akamai的了解
- 经典的响应码403
- 百年不变的HTML
Access Denied - 行为数据 SensorData
- 设备被动指纹
- 严格并发限制
其实不仅仅是Akamai,在我近几年所接触的风控系统中,都有类似的技术落地,无非是换了一个壳子,换了一套模式。
写在最后
爬虫与反爬虫是矛与盾之争,在时间维度来说,逆向工程永远站在胜利一边,这也督促着我跟进最新最前沿的风控技术。
|