木子屋
 

标题: WebRequest抓取页面出错：此标头必须使用适当的属性进行修改

作者: dnawo

日期: 2012-10-27 05:05 PM

分类: Web编程

内容: WebRequest抓取页面出错，提示：此标头必须使用适当的属性进行修改(红色地方出错)：
复制内容到剪贴板 程序代码Uri uri = new Uri("http://www.baidu.com/");
WebRequest webRequest = WebRequest.Create(uri);
webRequest.Method = "GET";
webRequest.Headers.Add("UserAgent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4");
webRequest.Headers.Add("Referer", "http://www.mzwu.com/");
WebResponse webResponse = webRequest.GetResponse();
using (StreamReader streamReader = new StreamReader(webResponse.GetResponseStream(), Encoding.GetEncoding("gb2312")))
{
    Response.Write(streamReader.ReadToEnd());
}
原因是WebRequest不支持Headers.Add方式设置Referer，改用HttpWebRequest即可：
复制内容到剪贴板 程序代码Uri uri = new Uri("http://www.baidu.com/");
HttpWebRequest webRequest = (HttpWebRequest)HttpWebRequest.Create(uri);
webRequest.Method = "GET";
webRequest.UserAgent = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4";
webRequest.Referer = "http://www.mzwu.com/";
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
using (StreamReader streamReader = new StreamReader(webResponse.GetResponseStream(), Encoding.GetEncoding("gb2312")))
{
    Response.Write(streamReader.ReadToEnd());
}

+ 查看当前日志评论 (0)

 

登录

────────────

木子屋

PJBlog3 v3.2.9.518 Inside.

Processed In 0.594 ms

标题: WebRequest抓取页面出错：此标头必须使用适当的属性进行修改

你没有权限发表评论

────────────

木子屋

PJBlog3 v3.2.9.518 Inside.

Processed In 0.594 ms

暂无评论

返回

────────────

木子屋

PJBlog3 v3.2.9.518 Inside.

Processed In 0.609 ms