设计并开发用于爬虫的 IP 代理池服务

[ben7th]

1. 目标

我们正在进行针对特定人群提供问题跟踪，咨询的智能服务的开发工作。其中用于支持产品初期算法研究工作的基础数据，有一部分需要通过爬虫工具来抓取。

目前正在展开若干不同的爬虫开发工作，各个爬虫都需要用到 IP 代理，为便于集中调度，需要把这项特性开发为单独开发为一个服务。开发之前需要对该服务的数据结构，接口等进行设计；

1.1. 选型/环境

• 服务部署环境在阿里云
• 使用 mongodb 数据库服务
• 使用 redis 缓存服务
• 若有必要，使用 oss 文件存储

1.2. 沟通与文档

• 初步沟通理解需求并传达目的后，希望就工作内容撰写一份概要设计文档，明确开发要点和规格；
• 对概要设计文档进行 review 后，做必要的修改和进行内容补充；
• 开发和运维技术人员审核后，通过验收，开始开发工作；
• 开发完成后，配合运维技术人员完成部署；

1.3. 工作要求

• 从不同的 IP 代理提供服务获取 IP 代理资源（包括免费服务和收费服务）；
• 对 IP 代理的可用性进行检测，保留有效可用的；
• 提供 API 接口，使得其他爬虫可以从该服务获取可用的 IP 代理资源；
• 对不同具体爬虫对 IP 代理资源的使用情况进行记录以及调度；

报名人员可到 github.com/social-innovation/tasks/issues/32
留言和参与需求讨论（写下联系方式和个人基本情况介绍）

2. 时间

2.1. 阶段划分

预计周期：10 天（明确需求后，以开发者承诺为准）

• 理解需求，撰写概要设计并 review 通过
• 开发及代码 review
• 配合完成部署调试
• 质保维护

2.2. 调整和处罚（码市）

阶段划分制定和确认后，调整需提前说明；
阶段划分调整 2 次以上或延期 1 次以上，每延期一天，当期费用扣除 10%；
延期 3 次以上，需求方有权取消发包；
需求方原因造成的延误不包含在内；

3. 人员要求

• 证明自己有能力胜任此项工作，有相关开发管理经验
• 通过沟通与思考明确需求
• 明确需求后，在承诺的时间完成提交
• 熟悉 github, github 账号时间大于半年（在报名中给出 github 账号）
• 熟悉 阿里云

4. 费用

1000 （设计）+ （设计确定后，根据工作量评估，补充阶段）（实现）

5. 协作工具

zoom: https://zoom.us/
石墨文档: https://shimo.im/
github: https://github.com/
微信

[ben7th]

补充：IP 代理资源池服务的设计要求：

• 设计需明确依赖什么服务（例如 mongoDB redis）
• 设计需包括详细的 API 接口设计（目的：供其他爬虫开发者使用时参考，要求：使用 blueprint 撰写）
• 设计需包括数据结构设计
• 需提交 markdown 文件