QQ空间爬虫（日志、说说、个人信息）.zip

##**QQSpider1:**## <br/> 爬虫功能： QQSpider 使用广度优先策略爬取QQ空间中的个人信息、日志、说说、好友四个方面的信息，详细可见数据库说明。 判重使用“内存位”判重，理论上亿数量级的QQ可瞬间判重，内存只占用400M+。 爬虫速度可达到单机每天400万条数据以上（具体要考虑网速、网络带宽、稳定性等原因。我在学校是400万+，但在公司那边却只有六成的速度，普通家庭网络可能会更慢）。 环境、架构： 开发语言：Python2.7 开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。 数据库：MongoDB 3.2.0 （Python编辑器：Pycharm 5.0.4；MongoDB管理工具：MongoBooster 1.1.1） 主要使用 requests 模块抓取，部分使用 BeautifulSoup 解析。 多线程使用 multiprocessing.dummy 。 抓取 Cookie 使用 selenium 和 PhantomJS 。 判重使用 BitVector 。 使用说明： 启动前配置： MongoDB安装好 能启动即可，不需要配置。 Python需要安装以下模块（注意官方提供的模块是针对win32系统的，64位系统用户在使用某些模块的时候可能会出现问题，所以尽量先找64位模块，如果没有64的话再去安装32的资源）： requests、BeautifulSoup、multiprocessing、selenium、itertools、BitVector、pymongo 另外我们需要使用到 PhantomJS，这并不是 Python 的模块，而是一个exe可执行文件，我们可以利用它模拟浏览器去获取 Cookie 。使用方法：将 phantomjs-2.0.0-windows.zip 压缩包里面的 phantomjs.exe 放到你的 Python 目录下就行了。 如果出现报错： ``` Traceback (most recent call last): File ".\init.py", line 20, in <module> my_messages.backups() # 备份爬虫信息 NameError: name 'my_messages' is not defined ``` <br/> 多半的原因是 BitVector 模块用不了，可自行调试。 <br/> 如果确定是BitVector用不了的话可以用 "BitVector模块报错解决" 里面的两个文件替换掉原有文件，不使用BitVector判重，改用python的list判重（数据量不大的话效果是一样的）。 <br/> <br/> -------------------------------------------------------&nbsp;&nbsp;&nbsp;分界线&nbsp;&nbsp;&nbsp;------------------------------------------------------- <br/> <br/>