我试图制作一个相当简单的webscraper,但jsdom似乎工作不正常。下面是我用于刮板的代码:
const axios = require("axios");
const jsdom = require("jsdom");
const { JSDOM } = jsdom;
let v = "15";
axios.get("https://adoptopenjdk.net/releases.html?variant=openjdk" + v + "&jvmVariant=hotspot")
.then(function (response) {
const dom = new JSDOM(response.data, { runScripts: "dangerously", resources: "usable", pretendToBeVisual: true });
console.log(dom.window.document.querySelector('title').textContent);
let a = [...dom.window.document.querySelectorAll('a')];
let osList = [...dom.window.document.getElementsByClassName('os')];
let archList = [...dom.window.document.querySelectorAll('.arch')];
let downloadLinks = [...dom.window.document.querySelectorAll('.main-download__variant__sub-table__download')];
console.log(a);
console.log(osList);
console.log(archList);
console.log(downloadLinks);
})
.catch(function (error) {
console.log(error);
});
理论上,这将返回以下结果:
但它会返回大约一半的锚元素,而不会返回任何其他元素:
我唯一的理论是它没有运行脚本,但这毫无意义,因为我明确地告诉过它( { runScripts: "dangerously", resources: "usable", pretendToBeVisual: true }
).
我一辈子都搞不懂为什么这行不通。
1条答案
按热度按时间nimxete21#
见对原问题的评论。异教徒猴子建议使用他们的api是正确的答案。