[网络协议]爬取数据遇到单点登陆问题

在爬取网站数据是,发现同一个token同时保存在domainA.cn和domainB.com下,通过selenium实现免登录获取数据时,解决跨域问题查找的知识点汇总.

浏览器跨域问题理解?

• 同源策略:

三个相同:协议,端口,域名

• 制定同源策略的目的:

防止请求伪造:前后端交互,获取服务器令牌存储在token下,如果没有同源策略,token可以被其他不发分子轻松获取.

• 非同源的三种限制:

无法获取非同源网页的 cookie、localstorage 和 indexedDB

无法访问非同源网页的 DOM （iframe）

无法向非同源地址发送 AJAX 请求 或 fetch 请求（可以发送，但浏览器拒绝接受响应）

• 如何解决跨域问题:

• 服务器实现CORS接口理解

服务端和客户端进行交互,http请求头中增加ACCESS开头参数进行交互

简单请求:实际请求中包含ACCESS参数信息

预检请求:在发送实际请求之前,发送一个OPTION请求，检查通过后，发送实际请求

附带凭证的预见请求需要在请求头中将withCredentials 设置为true

具体参考链接:跨源资源共享（CORS） - HTTP | MDN

• 使用JavaScript的src属性没有跨域限制来进行实现

请求头中X-Requested-With参数有什么作用？

? ? ? 可以判断ajax请求还是其他请求 .在服务器判读允许浏览器向跨源服务器，发出XMLHttpRequest请求

文章中参考的文档:

跨源资源共享（CORS） - HTTP | MDN

彻底理解浏览器的跨域 - 掘金

跨域单点登录方案实现 - 掘金

不同域名之间通过JSONP跨域共享cookie-黄运鑫的博客

https://segmentfault.com/a/1190000015597029