python--分布式爬虫的实现

计划用python实现一个分布式爬虫，在熟悉python的同时，为以后做金融方面的数据分析打下坚实的基础。

1 安装 scrapy时遇到的问题 在mac上安装时一直提示错误，最后在找到问题解决的方案，安装成功。 Mac上安装Scrapy中的问题与解决方法 具体步骤如下： 办法就是 pip install scrapy –ignore-installed six。如果出现权限问题的话，就修改代码为sudo -H pip install scrapy –ignore-installed six

2 接着在运行一个小demo时出现的问题

from scrapy.cmdline import execute import sys,os sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(['scrapy','crawl','jobbole'])

erro 如下：

File "/Library/Python/2.7/site-packages/twisted/internet/_sslverify.py", line 38, in <module> TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1, AttributeError:'module'has no attribute object'OP_NO_TLSv1_1'

最后查到stackoverflow，显示是我的twisted 版本和scrapy版本不对导致的，最后重新安装twisted后问题解决。 sudo pip install twisted==13.1.0 参考stackoverflow