Python3-爬虫~seleniumphantomjs豆瓣音乐例子

from selenium import webdriver import os,time from lxml import etree #豆瓣音乐 root_dir='douban' if not os.path.exists(root_dir): os.mkdir(root_dir) #访问 driver=webdriver.PhantomJS() base_url='https://music.douban.com/chart' driver.get(base_url) time.sleep(3) file_name=root_dir+'/music01.png' driver.save_screenshot(file_name) #文件内容 content=driver.page_source tree=etree.HTML(content) ul_list=tree.xpath('//ul[@class="col5"]') # print(ul_list) # print(len(ul_list)) count=1 for li in ul_list[0]: # 排名 index = li.xpath('.//span') if index != []: index = index[0].text # print(index) if count<=10: # 取img src=li.xpath('./a/img/@src') if src!=[]: src=src[0] # print(src) #取歌曲名称 song_name=li.xpath('.//h3/a') if song_name!=[]: song_name=song_name[0].text # print(song_name) #播放次数 play_time=li.xpath('.//p') if play_time!=[]: play_time=play_time[0].text # print(play_time) print(index,song_name,play_time,src) else: #10-20 p_list=li.xpath('.//p[@class="icon-play"]/text()') # 歌名 song_name=li.xpath('.//p[@class="icon-play"]/a') if song_name!=[]: song_name=song_name[0].text # print(song_name) # 歌手及播放次数 play_time=p_list[1].strip() print(index,song_name,play_time) count += 1

/Library/Frameworks/Python.framework/Versions/3.6/bin/python3.6 /Users/apple/PycharmProjects/stage4/spider/2018_3_16/01douban_music.py1 nuclearwar Ceezy / 1185次播放 https://img3.doubanio.com/view/site/small/public/19afc1c81f9c3ce.jpg2 从此以后 纸上墨 / 1127次播放 https://img3.doubanio.com/view/site/small/public/e07b5dfd3bc0853.jpg3 起床歌 放肆的肆 / 79次播放 https://img1.doubanio.com/view/site/small/public/fc00cb95a9b74d9.jpg4 终于入夏 邓晴 / 2172次播放 https://img1.doubanio.com/view/site/small/public/7721a85d159a78c.jpg5 偶然 纣王老胡 / 571次播放 https://img1.doubanio.com/view/site/small/public/c1141140300e6a7.jpg6 summer 王胜男 / 1439次播放 https://img1.doubanio.com/view/site/small/public/55444bae88e269b.jpg7 Sunrise S.A.D. / 1642次播放 https://img1.doubanio.com/view/site/small/public/99018ed243eb087.jpg8 花田 冯佳界&西山 / 136次播放 https://img1.doubanio.com/view/site/small/public/e6f1d9c7b89fb2a.jpg9 小烦，你的北京不孤单 秦浅 / 4105次播放 https://img3.doubanio.com/view/site/small/public/038353541711176.jpg10 后马厂 Lonely Leary / 437次播放 https://img3.doubanio.com/view/site/small/public/7928e97822b7b03.jpg11 核子咖喱 City Flanker / 894次播放12 《时光•坠》 张立云 / 44次播放13 相离 刘天相 / 2464次播放14 勐巴拉娜西 刺猬★Hedgehog / 31次播放15 River 岳璇 / 95次播放16 幺幺九 养鸡 / 72次播放17 爱的实验 黎忘年 / 46次播放18 --Nice to meet you too AMnesiac安尼西亚 / 96次播放19 美梦 游乐猿 / 1733次播放20 隔壁团《少年郎万里路》demo 隔壁团乐队 / 482次播放Process finished with exit code 0