python爬虫(1) 之下载图片
1.爬取对象：http://www.jikexueyuan.com/course/pythonbase/
2.爬取目的：将目标网站中该页面所有图片下载下来
3.爬取步骤：（1）先将需要爬取的网页打开，然后把源代码存下来，存为yuanma.txt文件
（2）编写代码，打开yuanma.txt文件
（3）利用正则表达式匹配，找出含有课程的图片，并把url保存下来
（4）遍历所有图片的url，对每个提交get请求，并将图片内容写入pic文件夹中的文件中，再进行保存
4.源代码：
# -*- coding:utf-8 -*- import re import requests #打开文本 file = open('yuanma.txt','r') html = file.read() file.close() #进行匹配 lessons = re.findall('div class="lessonimg-box">(.*?)</div>',html,re.S) lessons = str(lessons) pic_url = re.findall('img src="(.*?)" class="lessonimg"',lessons,re.S) i = 0 for each in pic_url: i = i+1 print("正在下载第"+str(i)+"张图片："+each) pic = requests.get(each) fp = open('pic\\'+str(i)+'.jpg','wb') fp.write(pic.content) fp.close()
5.需要注意知识的：
（1）学会正则表达式的使用，（.*？）表示非贪心算法，而（.*）表示贪心算法
（2）python脚本的第一行需要用注释表示出编码类型
（3）必须在文件目录下新建pic文件夹
（4）本次代码使用了两次正则表达式，利用先抓大再抓小的方法，就是先爬取到每个课程的代码，在从代码中爬取图片的url
6.运行结果：
