Jsoup 抓取页面的数据实例详解
Jsoup抓取页面的数据
需要使用的是jsoup-1.7.3.jar包 如果需要看文档我下载请借一步到官网：http://jsoup.org/
这里贴一下我用到的Java工程的测试代码
packagecom.javen.Jsoup;
importjava.io.IOException;
importorg.jsoup.Jsoup;
importorg.jsoup.nodes.Document;
importorg.jsoup.nodes.Element;
importorg.jsoup.select.Elements;
publicclassJsoupTest{
staticStringurl="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";
/**
*@paramargs
*@throwsException
*/
publicstaticvoidmain(String[]args)throwsException{
//TODOAuto-generatedmethodstub
BolgBody();
//test();
//Blog();
/*
*Documentdoc=Jsoup.connect("http://www.oschina.net/")
*.data("query","Java")//请求参数.userAgent("I'mjsoup")//设置
*User-Agent.cookie("auth","token")//设置cookie.timeout(3000)//
*设置连接超时时间.post();
*///使用POST方法访问URL
/*
*//从文件中加载HTML文档Fileinput=newFile("D:/test.html");Documentdoc
*=Jsoup.parse(input,"UTF-8","http://www.oschina.net/");
*/
}
/**
*获取指定HTML文档指定的body
*@throwsIOException
*/
privatestaticvoidBolgBody()throwsIOException{
//直接从字符串中输入HTML文档
Stringhtml="<html><head><title>开源中国社区</title></head>"
+"<body><p>这里是jsoup项目的相关文章</p></body></html>";
Documentdoc=Jsoup.parse(html);
System.out.println(doc.body());
//从URL直接加载HTML文档
Documentdoc2=Jsoup.connect(url).get();
Stringtitle=doc2.body().toString();
System.out.println(title);
}
/**
*获取博客上的文章标题和链接
*/
publicstaticvoidarticle(){
Documentdoc;
try{
doc=Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
ElementsListDiv=doc.getElementsByAttributeValue("class","postTitle");
for(Elementelement:ListDiv){
Elementslinks=element.getElementsByTag("a");
for(Elementlink:links){
StringlinkHref=link.attr("href");
StringlinkText=link.text().trim();
System.out.println(linkHref);
System.out.println(linkText);
}
}
}catch(IOExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
}
/**
*获取指定博客文章的内容
*/
publicstaticvoidBlog(){
Documentdoc;
try{
doc=Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
ElementsListDiv=doc.getElementsByAttributeValue("class","postBody");
for(Elementelement:ListDiv){
System.out.println(element.html());
}
}catch(IOExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
}
}
下面来介绍android中使用Jsoup异步解析网页的数据请注意：这里很容易遇到一个乱码的问题
1.配置文件：
AndroidManifest.xml中加权限<uses-permissionandroid:name="android.permission.INTERNET"></uses-permission>
2.layout的布局文件
<LinearLayoutxmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" android:layout_width="match_parent" android:layout_height="match_parent" android:orientation="vertical"> <WebView android:id="@+id/webView" android:layout_width="fill_parent" android:layout_height="200dp"/> <ScrollView android:layout_width="wrap_content" android:layout_height="wrap_content"> <TextView android:id="@+id/textView" android:layout_width="wrap_content" android:layout_height="wrap_content" android:text="@string/hello_world"/> </ScrollView> </LinearLayout>
主要异步加载数据的代码
packagecom.javen.aaa;
importjava.io.BufferedReader;
importjava.io.IOException;
importjava.io.InputStreamReader;
importjava.net.URL;
importorg.jsoup.Jsoup;
importorg.jsoup.nodes.Document;
importorg.jsoup.nodes.Element;
importorg.jsoup.select.Elements;
importandroid.app.Activity;
importandroid.app.Dialog;
importandroid.app.ProgressDialog;
importandroid.os.AsyncTask;
importandroid.os.Bundle;
importandroid.util.Log;
importandroid.webkit.WebView;
importandroid.widget.TextView;
publicclassMainActivityextendsActivity{
privateWebViewwebView;
privateTextViewtextView;
privatestaticfinalintDIALOG_KEY=0;
@Override
protectedvoidonCreate(BundlesavedInstanceState){
super.onCreate(savedInstanceState);
setContentView(R.layout.main);
webView=(WebView)findViewById(R.id.webView);
textView=(TextView)findViewById(R.id.textView);
try{
ProgressAsyncTaskasyncTask=newProgressAsyncTask(webView,textView);
asyncTask.execute(10000);
}catch(Exceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
}
publicStringtest(){
StringBufferbuffer=newStringBuffer();
Documentdoc;
try{
doc=Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
ElementsListDiv=doc.getElementsByAttributeValue("class","postTitle");
for(Elementelement:ListDiv){
Elementslinks=element.getElementsByTag("a");
for(Elementlink:links){
StringlinkHref=link.attr("href");
StringlinkText=link.text().trim();
buffer.append("linkHref=="+linkHref);
buffer.append("linkText=="+linkText);
System.out.println(linkHref);
System.out.println(linkText);
}
}
}catch(IOExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
returnbuffer.toString();
}
//弹出"查看"对话框
@Override
protectedDialogonCreateDialog(intid){
switch(id){
caseDIALOG_KEY:{
ProgressDialogdialog=newProgressDialog(this);
dialog.setMessage("获取数据中请稍候...");
dialog.setIndeterminate(true);
dialog.setCancelable(true);
returndialog;
}
}
returnnull;
}
publicstaticStringreadHtml(Stringmyurl){
StringBuffersb=newStringBuffer("");
URLurl;
try{
url=newURL(myurl);
BufferedReaderbr=newBufferedReader(newInputStreamReader(url.openStream(),"gbk"));
Strings="";
while((s=br.readLine())!=null){
sb.append(s+"\r\n");
}
}catch(Exceptione){
e.printStackTrace();
}
returnsb.toString();
}
classProgressAsyncTaskextendsAsyncTask<Integer,Integer,String>{
privateWebViewwebView;
privateTextViewtextView;
publicProgressAsyncTask(WebViewwebView,TextViewtextView){
super();
this.webView=webView;
this.textView=textView;
}
/**
*这里的Integer参数对应AsyncTask中的第一个参数这里的String返回值对应AsyncTask的第三个参数
*该方法并不运行在UI线程当中，主要用于异步操作，所有在该方法中不能对UI当中的空间进行设置和修改
*但是可以调用publishProgress方法触发onProgressUpdate对UI进行操作
*/
@Override
protectedStringdoInBackground(Integer...params){
Stringstr=null;
Documentdoc=null;
try{
//Stringurl="http://www.cnblogs.com/zyw-205520/p/3355681.html";
//
//doc=Jsoup.parse(newURL(url).openStream(),"utf-8",url);
////doc=Jsoup.parse(readHtml(url));
////doc=Jsoup.connect(url).get();
//str=doc.body().toString();
doc=Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
ElementsListDiv=doc.getElementsByAttributeValue("class","postBody");
for(Elementelement:ListDiv){
str=element.html();
System.out.println(element.html());
}
Log.d("doInBackground",str.toString());
System.out.println(str);
//你可以试试GBK或UTF-8
}catch(Exceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
returnstr.toString();
//returntest();
}
/**
*这里的String参数对应AsyncTask中的第三个参数（也就是接收doInBackground的返回值）
*在doInBackground方法执行结束之后在运行，并且运行在UI线程当中可以对UI空间进行设置
*/
@Override
protectedvoidonPostExecute(Stringresult){
webView.loadData(result,"text/html;charset=utf-8",null);
textView.setText(result);
removeDialog(DIALOG_KEY);
}
//该方法运行在UI线程当中,并且运行在UI线程当中可以对UI空间进行设置
@Override
protectedvoidonPreExecute(){
showDialog(DIALOG_KEY);
}
/**
*这里的Intege参数对应AsyncTask中的第二个参数
*在doInBackground方法当中，，每次调用publishProgress方法都会触发onProgressUpdate执行
*onProgressUpdate是在UI线程中执行，所有可以对UI空间进行操作
*/
@Override
protectedvoidonProgressUpdate(Integer...values){
}
}
}
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！