Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[BUG] 获取抖音作品详情时返回空响应 #119

Closed
4 tasks done
iDataist opened this issue Jul 3, 2024 · 9 comments
Closed
4 tasks done

[BUG] 获取抖音作品详情时返回空响应 #119

iDataist opened this issue Jul 3, 2024 · 9 comments
Labels
故障(bug) 代码问题导致的错误(Bugs caused by code problems)

Comments

@iDataist
Copy link

iDataist commented Jul 3, 2024

  • 我查看了 文档 以及 已关闭的问题 以寻找可能的解决方案。

  • 我在 常见的问题与解决办法 中找不到我的问题。

  • 你的问题是公开的,请注意删除个人敏感内容再上传

  • 不按照模板填写的问题将不会得到优先的处理。

  • 如果错误问题是可视化的,请在屏幕截图贴截图。如果你是开发者请在错误重现提供一个最小的代码示例来演示该问题。

  • 相同的问题将会被标记重复(duplicate),如果你的问题被标记为已确认(confirmed)则会在后续的推送中修复,请时刻留意。

  • 退订邮件提醒请点击邮件的底部unsubscribe

详细描述错误
在运行脚本时,出现了多次响应内容为空的警告,但状态码为200。具体日志如下:

INFO     开始爬取作品:7136604718050135327
WARNING  第 1 次响应内容为空, 状态码: 200,
         URL:https://www.douyin.com/aweme/v1/web/aweme/detail/...
WARNING  第 2 次响应内容为空, 状态码: 200,
         URL:https://www.douyin.com/aweme/v1/web/aweme/detail/...

系统平台

单击展开 Q: 你在哪个平台(Win/Linux/Mac)上运行?你使用的是什么浏览器?你使用的是什么终端软件?你使用的F2是什么版本?

A:

  • 操作系统: Windows 11 Pro
  • 浏览器: Firefox
  • 终端: Python 3.10.11 venv, Visual Studio Code
  • F2版本: 尝试了主分支和 v0.0.1.7-pw2,均出现相同错误

错误重现

单击展开 Q: 请你复制并粘贴出错时运行的命令和配置文件内容,以及重现该行为的步骤。如果你一次性就提供完整信息,就会节省很多解决问题的时间。

A:
用户发布作品数据接口没问题,但是单个作品数据 接口有问题。

  1. 运行以下脚本:
import asyncio
from f2.apps.douyin.handler import DouyinHandler

kwargs = {
    "headers": {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
        "Referer": "https://www.douyin.com/",
    },
    "cookie": "YOUR_COOKIE_HERE",
    "proxies": {"http://": None, "https://": None},
}


async def main():
    video = await DouyinHandler(kwargs).fetch_one_video(aweme_id="7136604718050135327")
    print("=================_to_raw================")
    print(video._to_raw())
    # print("=================_to_dict================")
    # print(video._to_dict())


if __name__ == "__main__":
    asyncio.run(main())

Q: 请添加调试命令f2 -d DEBUG重新运行出错的命令并提供日志目录下的日志文件。

A:

Q: 如果是开发者请提供最小的代码示例

A:

预期行为
期望脚本能正确获取抖音作品的详细信息,而不是返回空响应。

屏幕截图

日志文件
请查看上文提供的日志内容。

其他

@iDataist iDataist added the 故障(bug) 代码问题导致的错误(Bugs caused by code problems) label Jul 3, 2024
@Johnserf-Seed
Copy link
Owner

image

请使用该ua配置Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0

@zhengmingshao
Copy link

image

@Johnserf-Seed
Copy link
Owner

image

#94

@iDataist
Copy link
Author

iDataist commented Jul 3, 2024

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0

感谢如此迅速的答复, @Johnserf-Seed !我比对了一下您给出的UA设置和python脚本中的UA设置,是一致的。我把两个设置都拷贝在下面。在没有改动代码和其他任何环境的条件下,现在没有空响应的情况。也就是说十个小时之前是空响应,但是现在就没问题。

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0

@iDataist iDataist closed this as completed Jul 3, 2024
@Johnserf-Seed
Copy link
Owner

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0

感谢如此迅速的答复, @Johnserf-Seed !我比对了一下您给出的UA设置和python脚本中的UA设置,是一致的。我把两个设置都拷贝在下面。在没有改动代码和其他任何环境的条件下,现在没有空响应的情况。也就是说十个小时之前是空响应,但是现在就没问题。

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0

那么问题应该在于cookie或ip被风控了,可能需要你更多测试 ;)

@iDataist
Copy link
Author

iDataist commented Jul 3, 2024

明白了,感谢提供这个思路,@Johnserf-Seed

@iDataist
Copy link
Author

iDataist commented Jul 3, 2024

@Johnserf-Seed,请问风控是否对不同的接口有不同的影响?我现在观察到,用户发布作品的数据接口正常,下载视频也正常,但单个作品的数据接口存在问题。这是因为风控只针对某个特定接口吗?

@zhengmingshao
Copy link

@iDataist cookie都不正常呢

@2547881370
Copy link

@Johnserf-Seed,请问风控是否对不同的接口有不同的影响?我现在观察到,用户发布作品的数据接口正常,下载视频也正常,但单个作品的数据接口存在问题。这是因为风控只针对某个特定接口吗?

你好,最后有得到解决吗

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
故障(bug) 代码问题导致的错误(Bugs caused by code problems)
Projects
None yet
Development

No branches or pull requests

4 participants