IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> JavaScript知识库 -> 服务端nodejs抓取jsonp接口数据 -> 正文阅读

[JavaScript知识库]服务端nodejs抓取jsonp接口数据

众所周知,jsonp 接口返回的是一段 js 脚本,在浏览器中使用 script 标签引入、加载成功后,会直接执行其中的脚本方法,以参数的形象直接返回真正有用的接口数据,以此达到跨域请求的目的。但是如果在非浏览器环境(node执行环境)中怎么来抓取呢,本文就主要介绍一下,服务端nodejs抓取jsonp接口数据 的思路方法和踩过的坑。

Node+Axios Jsonp

前言

出于好奇,最近在研究使用 node 程序分析股票的数据,看看能不能找到一些规律。
但前提是要获取一批数据,所以查看了几个相关的网站平台,通过开发者工具的 network 查看,其中接口数据基本都是使用 jsonp 格式的。

温馨提示: 不要过度频繁爬取数据,可能涉及网络安全问题。

方法思路

  1. node 服务端使用 axios 获取 jsonp 返回的内容
  2. 使用 typeof 查看返回内容的类型
  3. 解析 jsonp 返回的内容、执行其中的 callback 方法

关键在于这第三步,在 node 环境中如何动态的执行这一段 String 类型的代码。

Node环境动态执行脚本

  1. eval()

直接调用,使用本地作用域。

function test() {
  let x = 10, y = 20;
  let sum = eval('x + y')
  console.log(sum);  // 30
}
  1. Function

eval 不同的是,Function 创建的函数只能在全局作用域中运行。
test() 执行会报错:ReferenceError: x is not defined

// 报错
function test() {
  let x = 10, y = 20;
  let fn = new Function('return x + y')
  let sum = fn()
  console.log(sum) // ReferenceError: x is not defined
}

// 正常执行
global.x = 10
global.y = 20
function test() {
  let fn = new Function('return x + y')
  let sum = fn()
  console.log(sum) // 30
}
  1. vm.runInThisContext (推荐)

vmnode 的核心模块,vm 可以使用 v8Virtual Machine contexts 动态地编译和执行代码,而代码的执行上下文与当前进程隔离。
被执行的代码无法获取本地作用域,只能在当前的 global 对象的上下文中编译并执行 code

const vm = require('vm')

global.x = 10
global.y = 20
function test() {
  let sum = vm.runInThisContext('x + y')
  console.log(sum) // 30
}

完整代码实现

// index.js

const vm = require('vm')
const axios = require('axios')

// 在 global 对象上挂载对应的 callback 方法
global.jQuery11230971606670044967_1649312313646 = function(res) {
  // jsonp 接口返回的数据
  console.log(res)
  // do something
}

async function getData() {
  let { data } = await axios({
    url: 'https://push2.eastmoney.com/api/qt/clist/get?cb=jQuery11230971606670044967_1649312313646&fid=f62&po=1&pz=10&pn=1&np=1&fltt=2&invt=2&fs=m%3A90+t%3A3&stat=1&fields=f12%2Cf14%2Cf2%2Cf3%2Cf62%2Cf184%2Cf66%2Cf69%2Cf72%2Cf75%2Cf78%2Cf81%2Cf84%2Cf87%2Cf204%2Cf205%2Cf124&ut=b2884a393a59ad64002292a3e90d46a5'
  })
  
  // 查看返回内容的类型
  console.log(typeof data)
  
  // 执行 callback
  vm.runInThisContext(data)
}

// 调用抓取数据的方法
getData()

特别提醒:
浏览器环境与 Node 执行环境挂载全局对象是有区别的。
在浏览器环境中,全局作用域可以使用 var 来声明一个变量或方法,会自动挂载到 window 对象上;
但是在 Node 环境中,每个文件或者模块,都会被封闭在一个单独的作用域,因此不管在哪里声明的变量,相对于当前模块或文件,都是在局部作用域,不会自动挂载到全局 global 对象中,如果要使用必须手动去挂载。

欢迎访问:天问博客

  JavaScript知识库 最新文章
ES6的相关知识点
react 函数式组件 & react其他一些总结
Vue基础超详细
前端JS也可以连点成线(Vue中运用 AntVG6)
Vue事件处理的基本使用
Vue后台项目的记录 (一)
前后端分离vue跨域,devServer配置proxy代理
TypeScript
初识vuex
vue项目安装包指令收集
上一篇文章      下一篇文章      查看所有文章
加:2022-04-09 18:14:27  更:2022-04-09 18:15:21 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 3:11:55-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码