完整数据提取和本地存储

[Standed]

Task: 完整数据提取和本地存储

Description

扩展基础爬取功能，提取微信公众号后台的完整数据指标（对应Feishu表格中的所有字段），并建立简单的本地数据库存储。确保数据完整性和一致性。

Acceptance Criteria

• 提取完整的文章数据指标：
  • 标题、次日分享数、次日喜欢数
  • 平均阅读时长、完读率、送达率
  • 首次分享数、首次分享率、次日转载比
  • 阅读量、在看数、评论数、转发数、收藏数
• 实现数据清洗和验证逻辑
• 建立SQLite本地数据库存储
• 数据去重和更新机制
• 按月份组织数据（2025-09, 2025-08等）
• 导出CSV格式用于验证

Technical Details

数据库设计：

-- articles表
CREATE TABLE articles (
    id INTEGER PRIMARY KEY,
    title TEXT NOT NULL,
    publish_date DATE,
    read_count INTEGER,
    like_count INTEGER,
    share_count INTEGER,
    -- 其他指标字段...
    created_at TIMESTAMP,
    updated_at TIMESTAMP
)

实现组件：

class DataExtractor:
    def extract_full_metrics()  # 提取完整指标
    def validate_data()  # 数据验证
    def clean_data()  # 数据清洗

class LocalStorage:
    def save_to_sqlite()  # SQLite存储
    def export_to_csv()  # CSV导出
    def handle_duplicates()  # 去重处理

建议使用的Agent：

• data-engineer: 设计数据管道和存储方案
• python-pro: 优化数据处理代码

Dependencies

• 任务002完成（基础爬取功能）
• SQLite本地数据库
• 验证微信后台所有指标的准确定位

Effort Estimate

• Size: M
• Hours: 10-14 hours
• Parallel: false (依赖基础爬取功能)

Definition of Done

• 所有指标字段准确提取
• SQLite数据库正常工作
• 数据验证逻辑完善
• CSV导出功能正常
• 重复运行不产生重复数据
• 与微信后台数据100%一致性验证