我有个需求：将我知乎主页下全部 2514 篇文章的名称和链接使用代码解析出来。
https://www.zhihu.com/people/jerrywang_sap/posts
使用 postman 测试，发现不需要任何 Authentication，就可以直接返回该网页的 HTML 源代码：
这个 class type 为 ContentItem 和 ArticleItem 的 div，其子节点 a 就包含了文章的 url. 标题也可以解析出来。
知乎文章的数据加载，没有采取延迟加载，而是通过分页方式进行：
为简单起见，可以在代码里硬编码总的页数为 126：
为什么通过 jsDOM 解析出来的 a tag 只有 30 个元素：
而通过浏览器打开的页面，a 标签有 140 个。
我用postman 以及 request API 取回来的知乎页面，a 标签个数只有30.
可能与 user agent 相关。
浏览器里取回的网页大小：363KB
postman 取回的大小：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36
注意，好像也是客户端渲染。服务器推送过来的网页，只有2条文章：
真正的文章 api 原来在这里：
每页包含20条文章：
使用 postman 发请求：
遇到错误消息：
{
"error": {
"code": 10002,
"message": "10002:请求参数异常，请升级客户端后重试"
}
}
网上搜索了一下，发现知乎引入了反爬虫机制。所以我放弃这条路了。
更多Jerry的原创文章，尽在：“汪子熙”:
