如何使用Scrapy提取未包含的HTML数据< div>?

wtzytmuj  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(72)

我一直在尝试提取这个特定的数据集,并将其与Scrapy一起用于一个抓取项目。我目前的python代码是:

bedrooms_info = house_listing.css(
                '.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text').get()
            bedrooms = self.extract_number(bedrooms_info) if bedrooms_info else None

字符串
上述提取编号方法为:

def extract_number(self, value):
        try:
            # Use regular expression to extract numeric values
            match = re.search(r'\d+', value)
            return int(match.group()) if match else None
        except (TypeError, ValueError):
            return None


网站的HTML序列是:

<div class="search-results-listings-list__item-description__item search-results-listings-list__item-description__characteristics">
            <div class="search-results-listings-list__item-description__characteristics__item">
            <!--?xml version="1.0"?-->
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 46 41" class="search-results-listings-list__item-description__characteristics__icon search-results-listings-list__item-description__characteristics__icon--bedrooms"><path d="M5.106 0c-.997 0-1.52.904-1.52 1.533v11.965L.074 23.95c-.054.163-.074.38-.074.486V39.2c-.017.814.727 1.554 1.54 1.554.796 0 1.54-.74 1.52-1.554v-3.555h39.88V39.2c-.016.814.724 1.554 1.52 1.554.813 0 1.56-.74 1.54-1.554V24.436c0-.106-.017-.326-.074-.486l-3.512-10.449V1.537c0-.633-.523-1.534-1.52-1.534H5.106V0zm1.54 3.07h32.708v3.663a5.499 5.499 0 0 0-2.553-.614h-9.708c-1.614 0-3.06.687-4.093 1.77a5.648 5.648 0 0 0-4.093-1.77H9.2c-.924 0-1.793.217-2.553.614V3.07zm2.553 6.098h9.708c1.45 0 2.553 1.12 2.553 2.547v.523H6.646v-.523c0-1.426 1.103-2.547 2.553-2.547zm17.894 0H36.8c1.45 0 2.553 1.12 2.553 2.547v.523H24.54v-.523c0-1.426 1.103-2.547 2.553-2.547zm-20.88 6.12H39.79l2.553 7.615H3.656l2.556-7.615zM3.06 25.973h39.88v6.625H3.06v-6.625z"></path></svg>
            <div class="search-results-listings-list__item-description__characteristics-popover">Chambres</div>
            1
        </div>
                    </div>


我已经尝试了一整天来提取卧室的数量(在上面的代码中,它是1)。然而,我的程序返回的都是null。如果有人对我如何提取特定的数字有任何见解,我会很感激。
我尝试了多种不同的方法,其中大多数都以null结尾。一种替代方法导致我提取“Chambres”而不是实际的卧室数量。这种替代方法也返回null:

bedrooms_info = house_listing.css(
                'div.search-results-listings-list__item-description__characteristics__item::text').get()

n7taea2i

n7taea2i1#

你已经非常非常接近了。
您真正需要的唯一关键字更改是在css查询中使用getall而不是get
.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text
你的css查询用英语说就是获取.search-results-listings-list__item-description__characteristics__item类元素的文本内容,并且还包含一个"Chambres"值的子元素。
因此,您的选择器是正确的,唯一的问题是该查询有多个不同的结果,而使用get只返回第一个结果。
使用getall将返回列表中的每个结果,您要查找的结果是列表中的最后一个结果。
因此,成功提取"1"值的示例如下:

html = """
<html>
<div class="search-results-listings-list__item-description__item search-results-listings-list__item-description__characteristics">
            <div class="search-results-listings-list__item-description__characteristics__item">
            <!--?xml version="1.0"?-->
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 46 41" class="search-results-listings-list__item-description__characteristics__icon search-results-listings-list__item-description__characteristics__icon--bedrooms"><path d="M5.106 0c-.997 0-1.52.904-1.52 1.533v11.965L.074 23.95c-.054.163-.074.38-.074.486V39.2c-.017.814.727 1.554 1.54 1.554.796 0 1.54-.74 1.52-1.554v-3.555h39.88V39.2c-.016.814.724 1.554 1.52 1.554.813 0 1.56-.74 1.54-1.554V24.436c0-.106-.017-.326-.074-.486l-3.512-10.449V1.537c0-.633-.523-1.534-1.52-1.534H5.106V0zm1.54 3.07h32.708v3.663a5.499 5.499 0 0 0-2.553-.614h-9.708c-1.614 0-3.06.687-4.093 1.77a5.648 5.648 0 0 0-4.093-1.77H9.2c-.924 0-1.793.217-2.553.614V3.07zm2.553 6.098h9.708c1.45 0 2.553 1.12 2.553 2.547v.523H6.646v-.523c0-1.426 1.103-2.547 2.553-2.547zm17.894 0H36.8c1.45 0 2.553 1.12 2.553 2.547v.523H24.54v-.523c0-1.426 1.103-2.547 2.553-2.547zm-20.88 6.12H39.79l2.553 7.615H3.656l2.556-7.615zM3.06 25.973h39.88v6.625H3.06v-6.625z"></path></svg>
            <div class="search-results-listings-list__item-description__characteristics-popover">Chambres</div>
            1
        </div>
                </div>
</html>
"""

import scrapy
import re

selector = scrapy.Selector(text=html)

bedrooms_info = selector.css('.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text').getall()
bedrooms = bedrooms_info[-1]  # '\n            1\n        ' 
print(int(re.match(r'\d+', bedrooms).group()))  # 1

字符串
输出

相关问题