[Python知识库]中国土地市场网数据爬取

最近，由于需求，又要继续爬取中国土地市场网的数据。打开网站，发现页面又更新了，所以得重新分析网页结构。
更新之后的页面如下：
地址：https://www.landchina.com/resultNotice

找到初始的页面接口

下面是POST提交的参数，当然写代码的时候不要忘记把header加上去。如果你设置的搜索条件更加严格，提交的参数也就越多。

点击进去，看下详情页,也是一个JSON格式的数据结构，这样就很清晰了。

总结，也就是对两个JSON接口进行处理，前提是POST的参数和HEADERS参数不要忘记加上去。

经过分析，这次更新之后，网站的反爬机制更加严格，如果不加代理的话，很快会被封IP，返回同一固定页面。

最终，所有代码如下：

了解本专栏 订阅专栏 解锁全文