无法使用 tidy 和 Xpath 在 Java 中检索 Web 数据

Question

我想做的是从XHTML文件中提取一个简单的内部HTML。我已将搜索范围缩小到元素节点，但检索不到信息。

请注意：元素节点没有子节点。我为此收到空指针异常

这里是超文本标记语言SNIPPET

    <div id="dvTitle" class="titlebtmbrdr01" style="line-height: 22px;">BAJAJ AUTO LTD.       </div>

请注意，此文件的命名空间为http://www.w3.org/1999/xhtml

您可以看到我有想要BAJAJ AUTO LTD的div元素。

这是我正在使用的代码

    import java.io.IOException;
     import java.net.MalformedURLException; 
      import java.net.URL;
      import java.util.Vector;

    import javax.xml.xpath.XPath;
    import javax.xml.xpath.XPathConstants;
    import javax.xml.xpath.XPathExpression;
      import javax.xml.xpath.XPathExpressionException;
    import javax.xml.xpath.XPathFactory;

    import jxl.read.biff.BiffException;
    import jxl.write.WriteException;
    import jxl.write.biff.RowsExceededException;

    import org.w3c.dom.Document;
    import org.w3c.dom.Element;
      import org.w3c.dom.Node;
      import org.w3c.dom.NodeList;
    import org.w3c.dom.Text;

    import com.sun.org.apache.xml.internal.serialize.Serializer;


    public class BSEQuotesExtractor implements valueExtractor {

@Override
public Vector<String> getName(Document d) throws XPathExpressionException,            RowsExceededException, BiffException, WriteException, IOException {
    // TODO Auto-generated method stub
    XPathFactory factory = XPathFactory.newInstance();
    XPath xpath = factory.newXPath();
    xpath.setNamespaceContext(new MynamespaceContext());


    Object result = xpath.evaluate("//*[@id='dvTitle']",d, XPathConstants.NODESET);
    NodeList nodes = (NodeList) result;

    System.out.println(nodes.getLength());
    System.out.println(nodes.item(0).getNodeName());
    System.out.println(nodes.item(0).getAttributes().item(1).getNodeName());
    System.out.println(nodes.item(0).getAttributes().item(1).getNodeValue());
    System.out.println(nodes.item(0).getTextContent());

    return null;
}

public static void main(String[] args) throws MalformedURLException, IOException, XPathExpressionException, RowsExceededException, BiffException, WriteException{
    BSEQuotesExtractor q = new BSEQuotesExtractor();
    DOMParser parser = new DOMParser(new URL("http://www.bseindia.com/bseplus/StockReach/StockQuote/Equity/BAJAJ%20AUTO%20LTD/BAJAJAUT/532977/Scrips").openStream());
    Document d = parser.getDocument();
    q.getName(d);

}

        }

这就是我得到的结果

1
div
dvTitle
null

现在为什么我会得到这个空？我应该得到BAJAJ AUTO LTD。

Answer 1

当我打开您的代码引用的页面时，该 div 对我来说实际上是空的：

<div class="titlebtmbrdr01" id="dvTitle" style="line-height: 22px;"></div>

因此，也许您应该将页面内容保存到某个文件中，以检查它是否与您相同。如果是，但您的浏览器显示的内容不同，那么找出 cookie 和其他标头的哪些组合在那里有所不同。