jsdom不返回网页上的所有元素

dgsult0t  于 2021-09-23  发布在  Java
关注(0)|答案(1)|浏览(194)

我试图制作一个相当简单的webscraper,但jsdom似乎工作不正常。下面是我用于刮板的代码:

const axios = require("axios");
const jsdom = require("jsdom");
const { JSDOM } = jsdom;

let v = "15";

axios.get("https://adoptopenjdk.net/releases.html?variant=openjdk" + v + "&jvmVariant=hotspot")
.then(function (response) {
  const dom = new JSDOM(response.data, { runScripts: "dangerously", resources: "usable", pretendToBeVisual: true });
  console.log(dom.window.document.querySelector('title').textContent);
  let a = [...dom.window.document.querySelectorAll('a')];
  let osList = [...dom.window.document.getElementsByClassName('os')];
  let archList = [...dom.window.document.querySelectorAll('.arch')];
  let downloadLinks = [...dom.window.document.querySelectorAll('.main-download__variant__sub-table__download')];
  console.log(a);
  console.log(osList);
  console.log(archList);
  console.log(downloadLinks);
})
.catch(function (error) {
  console.log(error);
});

理论上,这将返回以下结果:

但它会返回大约一半的锚元素,而不会返回任何其他元素:

我唯一的理论是它没有运行脚本,但这毫无意义,因为我明确地告诉过它( { runScripts: "dangerously", resources: "usable", pretendToBeVisual: true } ).
我一辈子都搞不懂为什么这行不通。

nimxete2

nimxete21#

见对原问题的评论。异教徒猴子建议使用他们的api是正确的答案。

相关问题