基于scrapy，scrapy-redis，获取每日最新的CVE和CNVD漏洞，邮件通知.zip

# Scrapy-CVE-CNVD 基于scrapy框架，获取每日最新的CVE和CNVD漏洞，主要目的用于安全研究，获取最新安全咨询，无任何漏洞利用细节，严禁用于非法活动。 为了保证信息的易读性，CVE漏洞详细信息主要参照CNNVD官网信息，可能导致部分CVE无法被收录。更多信息可以通过关注CVE官方的Twitter获取。 # Start ### Docker-compose部署 修改crontabfile配置邮箱等信息 ``` PATH=/opt/someApp/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin # 个人的账号信息 EMAIL_USER=xxx@163.com EMAIL_PASS=xxxxxxxxxxxxxx EMAIL_TO=xxx@163.com # 10分钟执行一次 */10 * * * * cd /root/vuls && ./run.sh >> /var/log/cron.log ``` 构建（网络问题多重试几次） ``` cd Scrapy-CVE-CNVD docker-compose build ``` 运行（首次运行需等待一段时间） ``` docker-compose up -d ``` ### 本地部署 下载项目 ``` git clone https://github.com/ttonys/Scrapy-CVE-CNVD ``` 安装依赖(python3环境) ``` pip install -r requirements.txt ``` redis安装----docker ``` docker pull redis docker run -itd --name redis-test -p 6379:6379 redis ``` redis安装----本机 ``` 参照网上教程 ``` 修改配置，`Scrapy-CVE-CNVD/OnePiece/pipelines.py`文件36-38行，使用自己注册163邮箱，以及所获取的授权码（非个人密码） ``` fromaddr = 'xxxx@163.com' password = 'xxxxxxxxxxxxxx' toaddrs = 'xxxx@163.com' ``` 修改配置，`Scrapy-CVE-CNVD/OnePiece/settings.py`文件，配置个人的redis服务器ip、端口和密码 ``` REDIS_HOST = '127.0.0.1' REDIS_PORT = 6379 REDIS_PARAMS = { 'password': '123456', } ``` 修改配置，`Scrapy-CVE-CNVD/run.sh`中，将路径修改为自己本机的路径，参照如下： ``` #!/bin/bash cd /root/Scrapy-CVE-CNVD /usr/local/bin/scrapy crawl all-redis ``` 测试，将`Scrapy-CVE-CNVD`路径下文件改为755权限（chmod -R 755 Scrapy-CVE-CNVD），运行`./run.sh`，查看是否收到邮件通知 添加定时任务，注意使用绝对路径，按照本机实际路径填写，参考如下（每天下午2点半执行）： ``` 30 14 * * * /root/Scrapy-CVE-CNVD/run.sh ``` # Source 国家信息安全漏洞共享平台 ``` https://www.cnvd.org.cn/ ``` 国家信息安全漏洞库 ``` http://www.cnnvd.org.cn/ ``` today-cve ``` https://cassandra.cerias.purdue.edu/CVE_changes/today.html ``` cve官网 ``` https://cve.mitre.org/ ``` # Demo 数据保存  邮件内容