[开发测试] Jsoup+selenium爬取iframe内容的方法

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 开发测试 -> Jsoup+selenium爬取iframe内容的方法 -> 正文阅读

[开发测试]Jsoup+selenium爬取iframe内容的方法

1.引入相关依赖

<dependency>
  <groupId>io.github.bonigarcia</groupId>
    <artifactId>webdrivermanager</artifactId>
    <version>5.0.3</version>
</dependency>

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.59</version>
</dependency>
<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-api</artifactId>
    <version>3.141.59</version>
</dependency>


<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>23.0</version>
</dependency>

<dependency>
    <groupId>com.google.code.gson</groupId>
    <artifactId>gson</artifactId>
    <version>2.8.2</version>
</dependency>

2.安装Chrome驱动

chromedriver下载地址
选择一个版本（例如：101.0.4951.15），选择对应操作系统下载：如：chromedriver_win32.zip，下载后解压安装即可。
centOS7安装chromedriver的教程
 docker安装chromedriver

3.应用驱动

WebDriverManager.chromedriver().setup();

以上代码调会自动将正确的浏览器驱动程序放在代码将看到的位置

4.抓取iframe页面内容

private static String getPageBySelenium(String url){
    //应用驱动
    WebDriverManager.chromedriver().setup();

    //加载驱动
    WebDriver driver = new ChromeDriver();
    //指定页面地址
    driver.get(url);
    
    //获取页面的iframe元素， “g_iframe”是元素的ID, 根据实际页面来获取
    WebElement iframe = driver.findElement(By.ById.id("g_iframe"));

    //跳转到iframe页面内
    driver.switchTo().frame(iframe);
 
    //返回iframe的全部页面html内容
    return driver.getPageSource();
}

5.处理iframe内容

    String body = getPageBySelenium("初始网址");

    //body 已经是页面下iframe中的内容了
    //用Jsoup来解析， 也可用别的xml解析框架
    Document document = Jsoup.parse(body);
    
    //后续操作， 根据实际页面解析需要的元素
    Elements elements = document.getElementsByClass("xxx");
    Element element = elements.get(0);
    Node node = element.childNode(0);
    String name = node.toString();
    
    //...