会议记录1

本文主要讨论了一个基于Scrapy的开源项目开发过程，涉及多个方面，包括项目分工、功能规划、工具使用以及团队协作。以下是该项目的关键知识点： 1. **Scrapy框架**：Scrapy是一个用于网页抓取的Python框架，用于构建爬虫程序。项目选择Scrapy作为基础，因为它支持高效的网页抓取和数据处理。 2. **反爬虫策略**：项目中提到要根据具体网站实现反爬虫扩展功能，如登录和动态JavaScript加载，这表明团队将处理网站的反爬机制，可能涉及到模拟登录、处理JavaScript渲染等技术。 3. **分布式爬虫**：利用Scrapyd实现分布式爬虫功能，可以提高爬虫的并发性和效率，处理大量数据的抓取。Scrapyd是一个用于部署和管理Scrapy爬虫的服务。 4. **监控功能**：项目计划使用ScrapydWeb或其他可视化工具来监控爬虫的运行情况，如运行时间和抓取的数据量，这有助于优化爬虫性能和及时发现异常。 5. **Web UI和前后端交互**：宋冰晨和赵正阳负责Web界面及其与后端的交互，表明项目将开发一个用户友好的界面，用户可以通过该界面选择爬虫模板、监控爬虫状态等。 6. **甘特图**：宋冰晨负责整体计划的甘特图，这是一种项目管理工具，用于显示任务进度和时间安排，有助于团队跟踪项目进度。 7. **需求规格说明书**：项目成员分工编写需求规格说明书，包括用例图、RUCM图（Responsibility-Use Case Matrix，职责-用例矩阵）和非功能需求，确保项目需求清晰明确。 8. **编程语言和工具**：项目团队使用了多种编程语言和工具，如Eclipse插件进行绘图，StarUML绘制用例图，以及Django模板用于前端界面开发。 9. **文件命名规范**：采用H-{文件名}v{版本号}的命名规则，保证文件版本管理和团队协作的有序性。 10. **贡献率计算**：项目中引入了贡献率计算公式，考虑了个人工作量和主观评价两部分，以评估团队成员的贡献。 11. **代码分工**：明确了各成员在编码阶段的任务，如郭浩隆和宋冰晨负责前端，赵正阳和沈一聪负责后端，梁远志负责调度程序。 12. **版本控制**：项目使用GitHub进行代码管理，包括推送、Pull Request等操作，确保代码协同开发的顺畅。 13. **评审与反馈**：团队进行了多次评审和反馈，包括对文档质量、设计细节、开发工作的检查和修改，以确保项目质量。 14. **进度管理**：团队通过设定周工作日志、需求规格说明书改进、实验工作量统计等方式，有效管理项目进度和任务分配。 这个项目展示了软件开发中的多个关键环节，包括需求分析、设计、编码、测试和团队协作，充分体现了软件工程的实践过程。