selenuim爬虫实战(日lofter.com)

LOFTER是网易公司2011年8月下旬推出的一款轻博客产品。 LOFTER专注于为用户提供简约、易用、有品质、重原创的博客工具、原创社区，以及有品质的手机博客应用。 LOFTER首次采用独立域名，口号为”专注兴趣，分享创作”。 一经上线，便受到了互联网众多文艺青年、摄影师、插画师的喜爱。

作为中国的Instagram,自然是很多人爬虫的目标,之前我写过一篇关于如何电脑批量上传Instagram图片的文章,这次来点高级的,来做一个lofter的批量下载器.

环境

eclipse, selenium包, firefox

目标

制作下载器,输入用户名,下载其账户上的所有照片

原理介绍

“http://” + username + “.lofter.com/view”是lofter提供的用户图片摘要视图,可以通过ajax动态加载的方法在一张网页上显示出用户所有的图片.我们就可以通过selenium模拟用户滚动瀑布流,再通过ECMAScript捕捉到所有图片的url,最后利用java发送get包下载所有图片.

准备工作

为了节省流量和时间,我们既不加载图片(加载出来的只是缩略图,没用),也不要加载界面了(节省本地资源). 注意,这两个节省是相互独立的.

FirefoxOptions options = new FirefoxOptions();

// 启动配置"不加载图片" options.addPreference("permissions.default.image", 2); // 启动参数"无界面" FirefoxBinary myBinary = new FirefoxBinary(); myBinary.addCommandLineOptions("--headless"); options.setBinary(myBinary);

FirefoxDriver driver = new FirefoxDriver(options);

实现方式

下一篇文章将公布源码

键入pageDown键以触发ajax瀑布流通过Dom元素的element.children.length属性值的累加获得图片总数在控制台输出所有url(暂停),以便核实再下载开启多线程超时跳过机制,防止损坏的url设置selenium的隐式等待和显式等待

注意事项

在经过了多次试验之后得到的最优方案.

利用页面提供的数据(页首’文章数量’字段)可以得到用户全部的图片数量以供参考循环检测的时候不要傻不拉几的数元素的数量,而要通过length值直接获得,因为JS比java要脆弱的多结束标志最好基于数量增长周期超时url需要裁剪,去掉问号之后的参数(这些参数用来生成缩略图)下载时切记从流的头字节获取mime信息,用来生成后缀名

源码请见下文.