1. 目标
我们正在进行针对特定人群提供问题跟踪，咨询的智能服务的开发工作。其中用于支持产品初期算法研究工作的基础数据，有一部分需要通过爬虫工具来抓取。
针对知乎，我们希望选择性地抓取其中的问题，回答，评论，以及知乎专栏内容
1.1. 选型/环境
- 服务部署环境在阿里云
- 使用 mongodb 数据库
- 使用 oss 文件存储
1.2. 沟通与文档
- 希望在报名该发包时，谈及自己在爬虫开发方面的相关经验。对于合适的开发者，会进行一次半小时左右的电话沟通（电话，QQ 语音或微信语音）（报名附言里可注明微信号方便添加）
- 初次沟通并传达目的后，希望就工作内容撰写一份概要设计文档，明确开发要点和规格；
- 概要设计文档 review 通过后，进行开发实现；
1.3. 工作要求
- 对知乎的问题，回答，评论，知乎专栏内容进行抓取
- 可以设定抓取范围（以关键词，标签，作者等要素来约束）
- 这是一个持续抓取的爬虫，连续工作时尽量获取尽可能多的内容
- 需要给出抓取结果保存的数据库设计（mongoDB）
- 从头开发和用现有代码/第三方工具实现都可以，但实现细节要在概要设计中明确
报名人员可到 github.com/social-innovation/tasks/issues/29
留言和参与需求讨论（写下联系方式和个人基本情况介绍）
2. 时间
2.1. 阶段划分
预计周期：7 天（明确需求后，以开发者承诺为准）
- 理解需求，撰写概要设计
- 开发
- 配合完成一次数据样本抓取
- 质保维护
2.2. 调整和处罚（码市）
阶段划分制定和确认后，调整需提前说明；
阶段划分调整 2 次以上或延期 1 次以上，每延期一天，当期费用扣除 10%；
延期 3 次以上，需求方有权取消发包；
需求方原因造成的延误不包含在内；
3. 人员要求
- 证明自己有能力胜任此项工作，有相关开发管理经验
- 通过沟通与思考明确需求
- 明确需求后，在承诺的时间完成提交
- 熟悉 github, github 账号时间大于半年（在报名中给出 github 账号）
- 熟悉 阿里云
4. 费用
3000 = 1000 （概要设计）+ 2000（实现）
5. 协作工具
zoom: https://zoom.us/
石墨文档: https://shimo.im/
github: https://github.com/
微信
1. 目标
我们正在进行针对特定人群提供问题跟踪，咨询的智能服务的开发工作。其中用于支持产品初期算法研究工作的基础数据，有一部分需要通过爬虫工具来抓取。
针对知乎，我们希望选择性地抓取其中的问题，回答，评论，以及知乎专栏内容
1.1. 选型/环境
1.2. 沟通与文档
1.3. 工作要求
报名人员可到 github.com/social-innovation/tasks/issues/29
留言和参与需求讨论（写下联系方式和个人基本情况介绍）
2. 时间
2.1. 阶段划分
预计周期：7 天（明确需求后，以开发者承诺为准）
2.2. 调整和处罚（码市）
阶段划分制定和确认后，调整需提前说明；
阶段划分调整 2 次以上或延期 1 次以上，每延期一天，当期费用扣除 10%；
延期 3 次以上，需求方有权取消发包；
需求方原因造成的延误不包含在内；
3. 人员要求
4. 费用
3000 = 1000 （概要设计）+ 2000（实现）
5. 协作工具
zoom: https://zoom.us/
石墨文档: https://shimo.im/
github: https://github.com/
微信