C#获取网页源代码的方法
本文实例讲述了C#获取网页源代码的方法。分享给大家供大家参考。具体如下：
public string GetPageHTML(string url)
{
try
{
HttpWebRequest wr = WebRequest.Create(url) as HttpWebRequest;
wr.Method = "get";
wr.Accept = "*/*";
wr.Headers.Add("Accept-Language: zh-cn");
wr.Headers.Add("UA-CPU: x86");
wr.Headers.Add("Accept-Encoding: gzip, deflate");
wr.UserAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Embedded Web Browser from: http://bsalsa.com/; InfoPath.2; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)";
wr.KeepAlive = true;
wr.ServicePoint.Expect100Continue = false;
wr.AllowAutoRedirect = false;
HttpWebResponse wre = wr.GetResponse() as HttpWebResponse;
StreamReader sreader = new StreamReader(wre.GetResponseStream(), Encoding.GetEncoding("GBK"));
string sHtml = sreader.ReadToEnd();
wre.Close();
return sHtml;
}
catch
{
return "";
}
}
希望本文所述对大家的C#程序设计有所帮助。
-
<?php $http = HttpRequest::newSession(); $response = $http->get('http://www.baidu.com/'); $content = $response->body(); // 网页源码
-
本文向大家介绍python 获取网页编码方式实现代码，包括了python 获取网页编码方式实现代码的使用技巧和注意事项，需要的朋友参考一下 python 获取网页编码方式实现代码 然后import chardet 下面写了一个自动化检测的函数供检测Url连接，然后返回网页url的编码方式。 上面用到了chardet类的detect方法，返回字典，然后取出编码方式encoding 感谢阅读，希望能
-
问题内容： 如何从网站获取HTML代码，进行保存并通过LINQ表达式查找一些文本？ 我正在使用以下代码来获取网页的来源： 如何在网页源中的div中查找文本？ 问题答案： 从网站获取HTML代码。您可以使用这样的代码。 这将为您提供从网站返回的 HTML 代码。但是通过 LINQ 查找文本并不是那么容易。也许使用正则表达式会更好，但不能与 HTML 代码一起很好地使用
-
问题内容： 我已经阅读了很多有关Web抓取的答案，这些答案涉及BeautifulSoup，Scrapy等执行Web抓取的问题。 有没有办法从网络浏览器中保存页面的源代码呢？ 也就是说，Python中是否有一种方法可以将其指向网站，并使其仅使用标准Python模块将页面的源代码保存到文本文件中？ 这是我去的地方： 我知道的不多-但是正在寻找代码来实际提取页面的源代码，以便可以编写它。我收集到urlo
-
问题内容： 我想实现一个Java方法，该方法以URL作为输入并将整个网页（包括CSS，图像，JS（所有相关资源））存储在磁盘上。我已经使用Jsoup html解析器来获取html页面。现在，我想实现的唯一选择是使用jsoup获取页面，现在解析html内容并将相对路径转换为绝对路径，然后再次请求获取javascript，图像等并将其保存在磁盘上。我还阅读了有关HTML清洁器，htmlunit解析器的
-
我想实现一个java方法，它将URL作为输入，并将包括css、图像、js(所有相关资源)在内的整个网页存储在我的磁盘上。我已经使用Jsoup html解析器来获取html页面。现在，我想实现的唯一选项是使用jsoup获取页面，现在解析html内容，将相对路径转换为绝对路径，然后发出另一个获取javascript、图像等的请求。并将它们保存在磁盘上。我也读过html cleaner和htmlunit