Skip to content

微信登录和基础数据爬取 #3

Description

@Standed

Task: 微信登录和基础数据爬取

Description

实现微信公众号后台自动登录(二维码扫码),并完成基础的文章数据抓取功能。先针对单个账号,确保能稳定获取到文章标题、阅读量等基础数据。

Acceptance Criteria

  • 实现微信公众号后台登录流程(二维码扫码)
  • 自动导航到数据统计页面
  • 抓取文章列表基础数据(标题、阅读量、发布时间)
  • 处理微信页面的异步加载(等待机制)
  • 基础错误处理和重试机制
  • 登录状态保持(session管理)
  • 抓取到的数据保存为JSON文件(本地验证)

Technical Details

实现方案:

  • 使用Playwright处理微信网页版登录
  • 实现二维码检测和人工扫码等待机制
  • 页面元素定位和数据提取(CSS选择器)
  • 简单的session保持机制
  • 基础的反检测措施(随机延迟、人性化操作)

核心功能:

class WeChatScraper:
    def login_with_qr()  # 二维码登录
    def navigate_to_stats()  # 导航到统计页面
    def extract_articles_basic()  # 提取基础文章数据
    def save_data_local()  # 本地保存数据

建议使用的Agent:

  • backend-security-coder: 确保登录和session管理的安全性
  • python-pro: 优化爬虫代码和错误处理

Dependencies

  • 任务001完成(基础环境就绪)
  • 微信公众号管理员账号权限
  • 能访问微信公众平台网页版
  • 手机微信用于扫码登录

Effort Estimate

  • Size: M
  • Hours: 8-12 hours
  • Parallel: false (依赖基础环境,且需要逐步调试)

Definition of Done

  • 登录功能实现并测试通过
  • 能成功抓取至少10篇文章的基础数据
  • 数据保存到本地JSON文件
  • 异常情况处理测试(网络中断、登录过期等)
  • 代码结构清晰,便于后续扩展
  • 简单的使用文档编写

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions