j2se 嵌入式腳本抓取引擎

本文來源于：http://www.cnblogs.com/birdshover/
J2SE 6.0 （有些地方也叫1.6）增加了腳本嵌入，使JAVA可以模擬動態(tài)語言的方式運行。這個類是ScriptEngineManager，被添加在javax.script命名空間中。執(zhí)行腳本的程序很簡單，看以下代碼：

        ScriptEngineManager m = new ScriptEngineManager();
        ScriptEngine engine = m.getEngineByExtension("js");
        try {
            engine.eval("java.lang.System.out.println(\"測試腳本輸出\");");
        } catch (ScriptException e) {
            log.Log("執(zhí)行腳本錯誤:" + file.getFileName());
            log.Log(e.getMessage());
        }
在java執(zhí)行的javascript代碼中也可以調(diào)用java對象。這樣就可以由java提供一些API，由javascript來組織邏輯部分。
比如，可以讓上面的代碼執(zhí)行以下腳本：
var Crawler = com.cnblogs.yurow.engin.Crawler;
var StreamWriter = com.cnblogs.yurow.engin.StreamWriter;
var RAMFile = com.cnblogs.yurow.engin.RAMFile;
var out = java.lang.System.out;
var starturl = "

for(var i = 435112;i<435212;i++){
    var tempurl = starturl + i;
    var content = new Crawler(tempurl).getResponse("utf-8");
    if(content != null){
        var file = new RAMFile(tempurl,content);
        StreamWriter.Save("result/" + i + ".html",file,"utf-8",true);
    }
}
其中Crawler是抓取類，StreamWriter是用來保存文件的，RAMFile是內(nèi)存中文件的組織結(jié)構(gòu)。這些都是自己定義的java類。
我包裝了一個JCrawler.jar，讀取當前目錄下的js文件以確定需要執(zhí)行的腳本。這些腳本可能被存放在不同的目錄。讀取到這個目錄列表，然后執(zhí)行目錄列表中每個javascript的邏輯。
演示抓取程序：