全球主机交流论坛

标题: 爬虫大佬们 帮我看看这个到底哪里没搞对 [打印本页]
作者: 花菜大魔王    时间: 2024-7-18 22:54
标题: 爬虫大佬们 帮我看看这个到底哪里没搞对
本帖最后由 花菜大魔王 于 2024-7-18 22:56 编辑

目的是根据电影名字爬取豆瓣ID  保存格式为文件夹名字  一个电影生产一个文件夹《电影名字,豆瓣ID》  
搞了好久都获取不到ID
下面还有一段 一起发说安全问题 发不出来...

  1. import requests
  2. from bs4 import BeautifulSoup
  3. import os
  4. import re
  5. import time

  7. # 搜索链接
  8. search_url = "https://search.douban.com/movie/subject_search?search_text={}&cat=1002"

  10. movies = [
  11.     "毒舌律师",
  12.     "满江红",
  13.     "倒数说爱你",
  14.     "别叫我“赌神”",
  15.     "银河护卫队3",
  16.     "温柔壳",
  17.     "盟约",
  18.     "检察风云",
  19.     "消失的她",
  20.     "蚁人与黄蜂女：量子狂潮",
  21.     "惊声尖叫6",
  22.     "荒原",
  23.     "无名",
  24.     "望道",
  25.     "龙与地下城：侠盗荣耀",
  26.     "小行星城",
  27.     "交涉",
  28.     "疾速追杀4",
  29.     "茶啊二中",
  30.     "中国乒乓之绝地反击",
  31.     "再见，我的灵魂伴侣",
  32.     "这么多年",
  33.     "星条红与皇室蓝",
  34.     "网络谜踪2",
  35.     "蜘蛛侠：纵横宇宙",
  36.     "变形金刚：超能勇士崛起",
  37.     "小美人鱼",
  38.     "我爱你！",
  39.     "长沙夜生活",
  40.     "人生路不熟"
  41. ]
复制代码

作者: 花菜大魔王    时间: 2024-7-18 22:57
无语   后面一段发不出来  就图片了
作者: Far    时间: 2024-7-18 23:01
代码交给gpt分分钟给你搞明白
作者: 花菜大魔王    时间: 2024-7-18 23:04
Far 发表于 2024-7-18 23:01
代码交给gpt分分钟给你搞明白

就是gpt写的
作者: wusir    时间: 2024-7-18 23:13
数据在 window.__DATA__
作者: 花菜大魔王    时间: 2024-7-18 23:18
wusir 发表于 2024-7-18 23:13
数据在 window.__DATA__

但是没获取到豆瓣ID
作者: 2569138941    时间: 2024-7-18 23:32
花菜大魔王 发表于 2024-7-18 23:18
但是没获取到豆瓣ID

  2. pattern = re.compile(r'https://movie.douban.com/subject/(\d+)/')
  3. douban_id = pattern.findall(response.text)

复制代码
作者: 2569138941    时间: 2024-7-18 23:36
2569138941 发表于 2024-7-18 23:32

注意我用 findall 返回的是一个 list 哦
作者: 花菜大魔王    时间: 2024-7-18 23:58
2569138941 发表于 2024-7-18 23:36
注意我用 findall 返回的是一个 list 哦

老哥能给个全部的吗   搞一晚上没搞好  
作者: 2569138941    时间: 2024-7-19 00:05
花菜大魔王 发表于 2024-7-18 23:58
老哥能给个全部的吗   搞一晚上没搞好

就去soup直接正则匹配就好
https://paste.ubuntu.com/p/v7pFZsbs9m/
作者: wusir    时间: 2024-7-19 00:24
代码发不出
作者: 花菜大魔王    时间: 2024-7-19 01:20
2569138941 发表于 2024-7-19 00:05
就去soup直接正则匹配就好
https://paste.ubuntu.com/p/v7pFZsbs9m/

多谢老哥  万分感谢~！！！



欢迎光临 全球主机交流论坛 (https://fd.vvwvv.eu.org/) Powered by Discuz! X3.4