检查该网站上是否库存有尺寸为"40"的商品，并通过Discord发送消息。

Question

我正在尝试编写一个机器人，当鞋子的40码有库存时，在 Discord 上发送消息。我以前曾尝试使用类似的代码来实现这个功能，但现在不知道如何在 HTML 中找到表示尺码为 40 的鞋是否有库存的具体元素。

stock_element = soup.find('li', {'class': 'unselectable'})

对于这段代码，我不太清楚怎样才能让它找到那个特定指示库存状态的元素。

示例网址

以下是之前尝试过的代码：

import discord
from bs4 import BeautifulSoup
import requests
import aiohttp
import asyncio

webhook_url = 'DISCORD API'

async def send_webhook_message(content):
    async with aiohttp.ClientSession() as session:
        async with session.post(webhook_url, json={"content": content}) as response:
            if response.status == 204:
                print("Discord 消息已成功发送。")
            else:
                print(f"发送 Discord 消息时出错。状态码: {response.status}")

async def check_stock(url, size):
    try:
        response = requests.get(url)
        response.raise_for_status()
        soup = BeautifulSoup(response.text, 'html.parser')
        stock_element = soup.find('li', {'class': 'unselectable'})

        # 检查是否找到了 stock_element，并且它未被禁用（这里应根据实际 HTML 结构修改判断条件）
        return stock_element is not None and 'Size Variations' not in stock_element.attrs  # 这里的条件可能需要更具体以匹配库存信息

    except requests.RequestException as e:
        print(f"向网站发送请求时出错: {e}")
        return False

product_data = [
    {'url': 'https://www.courir.com/fr/p/ugg-tasman-1499533.html', 'size': '40'},  # 将'size': 'tasman' 修改为 'size': '40'
]
async def main():
    previous_stock_status = {}  # 字典用于存储每个产品上一次的库存状态

    while True:
        result_message = ""

        for product_info in product_data:
            url = product_info['url']
            size = str(product_info['size'])  # 确保 size 是字符串类型
            current_stock_status = await check_stock(url, size)

            # 检查该商品在上一次检查时是否缺货，现在是否有货
            if not previous_stock_status.get(url, {}).get(size, False) and current_stock_status:
                result_message += f"({size}) 现在有库存
"

            previous_stock_status.setdefault(url, {})[size] = current_stock_status

        # 如果结果消息不等于特定要避免的消息，则执行以下操作
        if result_message.strip() != "(NAVY S) is now in stock
(NAVY M) is now in stock
(NAVY L) is now in stock!
(BEIGE S) is now in stock!
(BEIGE M) is now in stock!
(BEIGE L) is now in stock!":
            # 打印结果消息
            print(result_message)

            # 只有在有更新时才发送 Discord 消息
            if result_message:
                await send_webhook_message(result_message)
                print("已发送 Discord 消息。")

        # 在下一次检查前休眠一段时间（例如：10分钟）
        print("10分钟后进行下一次检查")
        await asyncio.sleep(600)  # 睡眠10分钟（此处是600秒）

# 异步运行主函数
asyncio.run(main())

Sven Marnach · Answer

检查 'class': 'unselectable' 只能告诉我们产品当前没有库存。当产品有库存时，其 class 将变为 'selectable'。

为了找到正确的属性进行搜索，我们可以使用浏览器的开发者工具（在 Firefox 或 Chrome 中按 CTRL-SHIFT-I 键打开）。在这个例子中，查找一个 class 为 'swatchanchor' 并且 title 包含 '40' 的锚点元素（a 标签），如果其父元素具有 class='selectable' 属性，则说明该尺码的产品有库存。通常情况下，类似以下的代码可以实现这个功能：

size_40_available = soup.find('li', class_='selectable').find_all('a', class_='swatchanchor', title__contains='40')

但是问题在于，我们想寻找的这些元素并没有直接出现在页面源代码中。它们是由 JavaScript 动态生成的。因此，我们无法通过传统的网页抓取方法如 Beautiful Soup 或 Scrapy 来获取它们。相反，我们需要使用无头浏览器，例如 Puppeteer 或 Selenium，来与页面进行交互并提取所需元素。

gnovice · Answer

看来这个信息是通过 JavaScript 加载的：

url = "https://www.courir.com/fr/p/ugg-tasman-1499533.html"

headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N)",
    "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36"
}

payload = {
    "frz-smartcache-fragment": "true",
    "frz-timeout": "5000",
    "frz-smartcache-v": "2",
    "frz-smartcache-placeholders-number": "8"
}

r = requests.get(url, headers=headers, params=payload)

soup = BeautifulSoup(re.search(r"(<.*>)", r.text)
            .group().replace("\", ""), "html.parser")

sizes = {}

for tag in soup.select("[class$='selectable']"):
    sizes.setdefault(tag["class"][0], []).append(
        tag.select_one("a").get_text().strip("n"))

# 输出结果：
print(sizes)
# {'unselectable': ['40'], 'selectable': ['41', '42', '43', '44', '45', '46']}

如果你只想在尺码为 40 有库存时触发某个操作，可以这样做：

available_sizes = [
    tag["title"].split(": ")[-1]
    for tag in soup.select(".selectable a")
]  # ['41', '42', '43', '44', '45', '46']

if "40" in available_sizes:
    ...