网页的获取&解析

---

使用JAVA编写，需要的包和工具：Jsoup、PhantomJS 目标：能获取到完整的异步加载网页，使用Jsoup解析获得的网页

---

1.准备工作

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

下载 Jsoup

PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVGPhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。

下载 PhantomJS

2.Jsoup获取静态网页

Jsoup的connect方法能够直接获取静态网页 例如：

Document doc=Jsoup.connect("https://www.zhihu.com/question/19551007") .userAgent("Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)")//模拟火狐浏览器 .get();

对获取到的Document进行解析

String content = doc.html(); //得到该静态网页源码 String tilte = doc.title(); //得到title //Jsoup的优点在于能使用像这样类似于jQuery的操作 //对我来说，比用正则式方便多了 = = Elements writer = doc.select(".UserLink-link"); Elements contents = doc.getElementsByClass("RichText CopyrightRichText-richText"); //输出 for (Element span : contents) { String cText = span.text(); System.out.println("\n"+cText); }

Jsoup的优点是解析网页很方便，但也有缺点：connect方法得到的是静态的网页，除非是用parse从本地文件加载文档，不然就没办法得到完整的异步加载的网页内容。

详细参考：Jsoup Cookbook

想得到完整的异步加载网页，这时候就该PhantomJS上场了。

3.PhantomJS的简单使用

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。

也就是说，我们可以用PhantomJS实现任何浏览器可以做到的事情，包括浏览一个异步请求加载的网页，据说模拟点击按钮也能实现，更多好玩的用法以后再说，在此只用它来搞到完整的网页。

使用Webpage模块的Open方法，GET和POST data都可以实现

JScode.js 代码如下：

system = require('system') //首先引用系统模块 address = system.args[1]; //通过 JS文件名+网址 的方式将网址输入 var page = require('webpage').create(); //引用Webpage模块并创建一个实例 var url = address; phantom.outputEncoding = "gbk"; //输出的编码方式设为gbk，编码不对会出现中文乱码的情况 page.open(url, function (status) { //Page is loaded! if (status !== 'success') { console.log('Unable to post!'); } else { window.setTimeout(function () { //page.render("test.png"); //截图 console.log(page.content); //输出GET到的内容 phantom.exit(); //退出 }, 5000); //等待5秒 } });

调用PhantomJS执行上面的JS文件，即可得到网页内容 通过Runtime.exec()方法来执行调用命令

以下是声明java.lang.Runtime.exec()方法：

public Process exec(String command)

参数： command – 指定的系统命令

那么，此处的系统命令应该为：

String execc = "F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\phantomjs F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\JScode.js " + url; //前一个地址是phantomjs所在的位置，后一个地址是JScode.js所在的位置

封装为一个方法：

/** * 输入网址，返回该网页的Document * @param url * @return Document * @throws IOException */ public static Document getHtml(String url) throws IOException{ Runtime rt = Runtime.getRuntime(); String execc = "F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\phantomjs F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\JScode.js " + url; Process p = rt.exec(execc); InputStream getW = p.getInputStream(); Document doc = Jsoup.parse(getW, "gbk", url); return doc; }

完成，可以直接使用这个getHtml()方法来获取指定的网页了 调用的这个方法的时候需要try/catch

…………………………………………………………………………………………………..

其实，只用PhantomJS也可以实现对网页的解析操作 PhantomJS的详细使用参考：PhantomJS API