爬虫框架虚拟环境创建

1.创建douban文件夹

mkdir douban

2.进入到douban文件夹

cd douban

3.创建虚拟环境

python -m venv venv

4.激活虚拟环境

cd venv/Script activate

5.在douban文件夹下安装-U pip

cd ../../ python -m pip install -U pip

6.安装

pip install scrapy

7.在豆瓣文件夹下创建项目

scrapy startproject douban . (不加点会创建多级目录)

8.填入想爬取的页面的地址

scrapy genspider movie movie.douban.com (movie是自己随机取的名字。movie.douban.com是想爬取的页面的地址)

9.在pycharm中打开以上文件