Java中的网络爬虫。下载网页问题

Question

我正在尝试开发一个小的网络爬虫，它下载网页并搜索特定部分的链接。但当我运行这段代码时，“href”标记中的链接会变短。如：

原文链接：“/kids-toys-action-figures-accessories/b/ref=toys_hp_catblock_actnfig？ie=utf8&node=165993011&pf_rd_m=atvpdkikx0der&pf_rd_s=merchandised-search-4&pf_rd_r=2676466f4bb25430bad0d&pf_rd_t=101&pf_rd_p=1582921042&pf_rd_i=165793011”

变成：“/Kids-Toys-Action-Digure-Accessors/B？IE=UTF8&Node=165993011”

谁能帮帮我。下面是我的代码：

package test;
import java.io.*;
import java.net.MalformedURLException;
import java.util.*;
public class myFirstWebCrawler {

public static void main(String[] args)  {

    String strTemp = "";
    String dir="d:/files/";
    String filename="hello.txt";
    String fullname=dir+filename;

    try {
        URL my_url = new URL("http://www.amazon.com/s/ref=lp_165993011_ex_n_1?rh=n%3A165793011&bbn=165793011&ie=UTF8&qid=1376550433");
        BufferedReader br = new BufferedReader(new InputStreamReader(my_url.openStream(),"utf-8"));
        createdir(dir);
        while(null != (strTemp = br.readLine())){
            writetofile(fullname,strTemp);
        System.out.println(strTemp);

      }
        System.out.println("index of feature category : "  +  readfromfile(fullname,"Featured Categories"));
    } catch (Exception ex) {
        ex.printStackTrace();
    }

}


public static void createdir(String dirname)
{ File d= new File(dirname);

  d.mkdirs();


}

public static void writetofile(String path, String bbyte)
{
    try
    {
        FileWriter filewriter = new FileWriter(path,true);
        BufferedWriter bufferedWriter = new BufferedWriter(filewriter);
        bufferedWriter.write(bbyte);
        bufferedWriter.newLine();
        bufferedWriter.close();
    }
    catch(IOException e)
    {System.out.println("Error");}

}

public static int readfromfile(String path, String key)
{
    String dir="d:/files/";
    String filename="hello1.txt";
    String fullname=dir+filename;
    linksAndAt[] linksat=new linksAndAt[10];
    BufferedReader bf = null;
    try {
        bf = new BufferedReader(new FileReader(path));
    } catch (FileNotFoundException e1) {

        e1.printStackTrace();
    }
    String currentLine;
    int index =-1;
    try{
        Runtime.getRuntime().exec("cls");
    while((currentLine = bf.readLine()) != null)
    {
        index=currentLine.indexOf(key);
        if(index>0)
        { 
            writetofile(fullname,currentLine);
            int count=0;
            int lastIndex=0;
            while(lastIndex != -1)
            {
                lastIndex=currentLine.indexOf("href=\"",lastIndex);

                if(lastIndex != -1)
                {
                    lastIndex+="href=\"".length();
                    StringBuilder sb = new StringBuilder();
                while(currentLine.charAt(lastIndex) != '\"')
                    {
                        sb.append(Character.toString(currentLine.charAt(lastIndex)));
                        lastIndex++;

                    }

                    count++;

                    System.out.println(sb);
                }
            }
            System.out.println("\n count : " + count);
            return index;
        }

    }
    }
    catch(FileNotFoundException f)
    {
        f.printStackTrace();
    System.out.println("Error");
    }
    catch(IOException e)
    {try {
        bf.close();
    } catch (IOException e1) {
    e1.printStackTrace();
    }}
    return index;}
}

Answer 1

在我看来，这就像是服务器应用程序对来自桌面浏览器和基于Java的爬虫的请求做出不同的响应。这可能是因为您的浏览器在其请求中传递了cookie，而基于Java的爬虫不是cookies（例如会话持久化cookies)，也可能是因为您的桌面浏览器传递了与爬虫不同的用户代理头，或者是因为您的桌面浏览器和Java爬虫之间的其他请求头不同。

在编写爬行应用程序时，这是遇到的最大问题之一：很容易忘记不同客户端请求的相同URL不会总是以相同的代码响应。不知道这是不是发生在你身上的事，但这很常见。