win下环境搭建：
1，在cmd命令窗口下安装lxml
下载命令：python -m pip install lxml
2,安装Twisted
下载命令：python -m pip install Twisted
3,安装Scrapy
easy_install scrapy
安装后在cmd命令行输入scrapy可以查看
4，安装 win32
pip install pypiwin32
liunx下环境搭建：
1，切换到root用户下
安装gcc
yum install -y gcc
2,切换到Hadoop下
安装scrapy
pip install scrapy
创建scrapy项目
pycharm控制台下输入以下命令：
>scrapy startproject python05_crawl
创建成功
scrapy.cfg #部署配置文件
settings.py #项目设置文件
pipelines.py #项目管道文件
middlewares.py #中间件文件
items.py #项目定义文件
spiders 包 #这里放的是蜘蛛（spider)
案例：
import scrapy class NBASpider(scrapy.Spider): name = "txnba" # def start_requests(self): start_urls=[ 'http://www.dj97.com/myxc/ ' ] # yield scrapy.Request(url=start_url[0], callback=self.parse) count=0 def parse(self, response): qiuyuans = response.css("td a[target='play']::text") print("len----", len(qiuyuans)) for qiuyuan in qiuyuans: print("歌名", qiuyuan.extract()) next_page = response.css("li a[title='下一页']::attr(href)").extract_first() if next_page is not None: self.count += 1 if self.count < 20: next_page = response.urljoin(next_page) yield scrapy.Request(next_page, callback=self.parse)
控制台执行：scrapy crawl txnba
Anadocda3 安装和创建爬虫项目：
1，下载 Anaconda3-5.2.0-Windows-x86_64.exe
2，安装完开始菜单打开 anaconda prompt,
3, pip -V 查看版本，要求10.以上的版本
如果不是：执行
创建 scrapy 工程项目
1，切换到项目目录我 的是在D:\Anadocda3\idea_workspace 下
2，执行 scrapy startproject python05_crawl（python05。。是项目名称）
3，进入到 python05_crawl 目录下
执行 scrapy genspider 蜘蛛的名称 爬取网页
4，打开pycharm >>open>>项目地址目录
css选择器：
#name id选择器
.class 类选择器
a>b 父类选择器 （就是选择a下的b）
a b 后代选择器 （选择a下的所有后代）
a+b 邻近选择器（邻近a的第一个兄弟）
a~b 兄弟选择器 （选择a 同辈的）
a [b=c] 属性选择器 （a 的标签中有个属性b值为c ）
a.b 筛选选择器 （找a中有b类样式的元素）
a,b 组合选择器 （选择a或者b）
xpath
//div 这样的路径是找到 网页中所有的任意位置的div
/html 根元素下的html
./ div 当前路径下的div
/html/body 找到根元素下的所有body节点
/html/body[1] 找到根元素下的第一个body节点
