当前位置: 首页 > 编程笔记 >

Jsoup 抓取页面的数据实例详解

仲孙宇定
2023-03-14
本文向大家介绍Jsoup 抓取页面的数据实例详解,包括了Jsoup 抓取页面的数据实例详解的使用技巧和注意事项,需要的朋友参考一下

Jsoup 抓取页面的数据

 需要使用的是jsoup-1.7.3.jar包   如果需要看文档我下载请借一步到官网:http://jsoup.org/  

这里贴一下我用到的 Java工程的测试代码 

package com.javen.Jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupTest {
  static String url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";
  /**
   * @param args
   * @throws Exception
   */
  public static void main(String[] args) throws Exception {
    
    // TODO Auto-generated method stub
    BolgBody();
    //test();
    //Blog();
    /*
     * Document doc = Jsoup.connect("http://www.oschina.net/")
     * .data("query", "Java") // 请求参数 .userAgent("I ' m jsoup") // 设置
     * User-Agent .cookie("auth", "token") // 设置 cookie .timeout(3000) //
     * 设置连接超时时间 .post();
     */// 使用 POST 方法访问 URL

    /*
     * // 从文件中加载 HTML 文档 File input = new File("D:/test.html"); Document doc
     * = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");
     */
  }

  /**
   * 获取指定HTML 文档指定的body
   * @throws IOException
   */
  private static void BolgBody() throws IOException {
    // 直接从字符串中输入 HTML 文档
    String html = "<html><head><title> 开源中国社区 </title></head>"
        + "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>";
    Document doc = Jsoup.parse(html);
    System.out.println(doc.body());
    
    
    // 从 URL 直接加载 HTML 文档
    Document doc2 = Jsoup.connect(url).get();
    String title = doc2.body().toString();
    System.out.println(title);
  }

  /**
   * 获取博客上的文章标题和链接
   */
  public static void article() {
    Document doc;
    try {
      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
      Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");
      for (Element element :ListDiv) {
        Elements links = element.getElementsByTag("a");
        for (Element link : links) {
          String linkHref = link.attr("href");
          String linkText = link.text().trim();
          System.out.println(linkHref);
          System.out.println(linkText);
        }
      }
    } catch (IOException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }

  }
  /**
   * 获取指定博客文章的内容
   */
  public static void Blog() {
    Document doc;
    try {
      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
      Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");
      for (Element element :ListDiv) {
        System.out.println(element.html());
      }
    } catch (IOException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }
    
  }

}

     下面来介绍android中使用Jsoup异步解析网页的数据 请注意: 这里很容易遇到一个乱码的问题

1.配置文件:

AndroidManifest.xml中加 权限 <uses-permission android:name="android.permission.INTERNET"></uses-permission>

2.layout的布局文件

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
  xmlns:tools="http://schemas.android.com/tools"
  android:layout_width="match_parent"
  android:layout_height="match_parent"
  android:orientation="vertical" >

  <WebView
    android:id="@+id/webView"
    android:layout_width="fill_parent"
    android:layout_height="200dp" />

  <ScrollView
    android:layout_width="wrap_content"
    android:layout_height="wrap_content" >

    <TextView
      android:id="@+id/textView"
      android:layout_width="wrap_content"
      android:layout_height="wrap_content"
      android:text="@string/hello_world" />
  </ScrollView>

</LinearLayout>

 主要异步加载数据的代码

package com.javen.aaa;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import android.app.Activity;
import android.app.Dialog;
import android.app.ProgressDialog;
import android.os.AsyncTask;
import android.os.Bundle;
import android.util.Log;
import android.webkit.WebView;
import android.widget.TextView;

public class MainActivity extends Activity {
  private WebView webView;
  private TextView textView;
  private static final int DIALOG_KEY = 0;
  @Override
  protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    setContentView(R.layout.main);
    webView = (WebView) findViewById(R.id.webView);
    textView=(TextView) findViewById(R.id.textView);
    try {
      ProgressAsyncTask asyncTask=new ProgressAsyncTask(webView,textView);
      asyncTask.execute(10000);
    } catch (Exception e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }
  }
  
  public String test() {
    StringBuffer buffer=new StringBuffer();
    Document doc;
    try {
      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
      Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");
      for (Element element :ListDiv) {
        Elements links = element.getElementsByTag("a");
        for (Element link : links) {
          String linkHref = link.attr("href");
          String linkText = link.text().trim();
          buffer.append("linkHref=="+linkHref);
          buffer.append("linkText=="+linkText);
          
          System.out.println(linkHref);
          System.out.println(linkText);
        }
      }
    } catch (IOException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }
    return buffer.toString();

  }

    // 弹出"查看"对话框
    @Override
    protected Dialog onCreateDialog(int id) {
      switch (id) {
      case DIALOG_KEY: {
        ProgressDialog dialog = new ProgressDialog(this);
        dialog.setMessage("获取数据中 请稍候...");
        dialog.setIndeterminate(true);
        dialog.setCancelable(true);
        return dialog;
      }
      }
      return null;
    }
    
    public static String readHtml(String myurl) {
      StringBuffer sb = new StringBuffer("");
      URL url;
      try {
        url = new URL(myurl);
        BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk"));
        String s = "";
        while ((s = br.readLine()) != null) {
          sb.append(s + "\r\n");
        }
      } catch (Exception e) {
        e.printStackTrace();
      }
      return sb.toString();
    }
  
  class ProgressAsyncTask extends AsyncTask<Integer, Integer, String> {

    private WebView webView;
    private TextView textView;
    public ProgressAsyncTask(WebView webView,TextView textView) {
      super();
      this.webView=webView;
      this.textView=textView;
    }

    /**
     * 这里的Integer参数对应AsyncTask中的第一个参数 这里的String返回值对应AsyncTask的第三个参数
     * 该方法并不运行在UI线程当中,主要用于异步操作,所有在该方法中不能对UI当中的空间进行设置和修改
     * 但是可以调用publish Progress方法触发onProgressUpdate对UI进行操作
     */
    @Override
    protected String doInBackground(Integer... params) {
      String str =null;
      Document doc = null;
      try {
//        String url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";
//        
//        doc= Jsoup.parse(new URL(url).openStream(),"utf-8", url);
//        //doc = Jsoup.parse(readHtml(url));
//        //doc=Jsoup.connect(url).get();
//        str=doc.body().toString();
        doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
        Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");
        for (Element element :ListDiv) {
          str=element.html();
          System.out.println(element.html());
        }
        Log.d("doInBackground", str.toString());
        System.out.println(str);
        //你可以试试GBK或UTF-8
      } catch (Exception e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
      }
      return str.toString() ;
      //return test();
    }

    /**
     * 这里的String参数对应AsyncTask中的第三个参数(也就是接收doInBackground的返回值)
     * 在doInBackground方法执行结束之后在运行,并且运行在UI线程当中 可以对UI空间进行设置
     */
    @Override
    protected void onPostExecute(String result) {
      webView.loadData(result, "text/html;charset=utf-8", null);
      textView.setText(result);
      removeDialog(DIALOG_KEY);
    }

    // 该方法运行在UI线程当中,并且运行在UI线程当中 可以对UI空间进行设置
    @Override
    protected void onPreExecute() {
      showDialog(DIALOG_KEY);
    }

    /**
     * 这里的Intege参数对应AsyncTask中的第二个参数
     * 在doInBackground方法当中,,每次调用publishProgress方法都会触发onProgressUpdate执行
     * onProgressUpdate是在UI线程中执行,所有可以对UI空间进行操作
     */
    @Override
    protected void onProgressUpdate(Integer... values) {
      
    }
  }

}

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

 类似资料:
  • 主要内容:多级页面分析,爬虫增量抓取,程序代码实现前面讲解的爬虫案例都是单级页面数据抓取,但有些时候,只抓取一个单级页面是无法完成数据提取的。本节讲解如何使用爬虫抓取多级页面的数据。 在爬虫的过程中,多级页面抓取是经常遇见的。下面以抓取二级页面为例,对每级页面的作用进行说明: 一级页面提供了获取二级页面的访问链接。 二级页面作为详情页用来提取所需数据。 一级页面以 标签的形式链接到二级页面,只有在二级页面才可以提取到所需数据。 多级页面分析 下面

  • 主要内容:导入所需模块,拼接URL地址,向URL发送请求,保存为本地文件,函数式编程修改程序本节讲解第一个 Python 爬虫实战案例:抓取您想要的网页,并将其保存至本地计算机。 首先我们对要编写的爬虫程序进行简单地分析,该程序可分为以下三个部分: 拼接 url 地址 发送请求 将照片保存至本地 明确逻辑后,我们就可以正式编写爬虫程序了。 导入所需模块 本节内容使用 urllib 库来编写爬虫,下面导入程序所用模块: 拼接URL地址 定义 URL 变量,拼接 url 地址。代码如下所示:

  • 完全新的Java和J汤。我试图创建一个简单的程序,刮网络,给我Java股市的数据。我想从道琼斯股票开始,让它打印出52周的区间数据。它转到http://finance.yahoo.com/quote/AAPL?ltr=1,查看左下表(从上一次收盘价开始),然后下到第5个索引,从那里获取文本值。我得到的错误: 线程“main”组织中出现异常。jsoup。选择选择器$SelectorParseExce

  • 主要内容:确定网站类型,影片详情信息,影片总数量,影片类型与类型码,编写完整程序本节讲解如何抓取豆瓣电影“分类排行榜”中的电影数据( https://movie.douban.com/chart),比如输入“犯罪”则会输出所有犯罪影片的电影名称、评分,效果如下所示: 确定网站类型 首先要明确豆瓣电影网站的类型,即是动态还是静态。检查方法:右键查看网页源码 —> 搜索“辛德勒的名单”关键字,如下图所示: 图1:分析网站类型 最终发现源码页中没有出现想要抓取的数据,只有一大堆的

  • 主要内容:判断页面类型,寻找URL变化规律,编写爬虫程序,爬虫程序结构,爬虫程序随机休眠本节继续讲解 Python 爬虫实战案例:抓取百度贴吧( https://tieba.baidu.com/)页面,比如 Python爬虫吧、编程吧,只抓取贴吧的前 5 个页面即可。本节我们将使用面向对象的编程方法来编写程序。 判断页面类型 通过简单的分析可以得知,待抓取的百度贴吧页面属于静态网页,分析方法非常简单:打开百度贴吧,搜索“Python爬虫”,在出现的页面中复制任意一段信息,比如“爬虫需

  • 在我的硕士论文中,我正在探索通过web自动化从网站中提取数据的可能性。步骤如下: 登录网站(https://www.metal.com/Copper/201102250376) 输入用户名和密码 单击登录 将日期更改为2020年1月1日 刮取生成的表格数据,然后将其保存到csv文件中 用我电脑上的特定名称保存到特定文件夹 运行相同的序列,在同一浏览器窗口的新选项卡中下载其他材料的其他历史价格数据