时间:2021-05-02
本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序 。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HTTPWebResponse,分别用来向某资源发送请求和获得响应。为了得到一个资源的内容,我们先指定一个想要抓取的URL地址,用HTTPWebRequest对象进行请求,用HTTPWebResponse对象接收响应的结果,最后用TextStream对象来提取我们想要的信息,并在控制台打印出来。
下面就是看看如何实现这样的功能:
(1)打开VS.NET,点“文件”-“新建”-“项目”,项目类型选择“Visual C#项目”,模板选“Windows应用程序”,
(2)在Form1里加入Label1,Button1,TextBox1,TextBox2四个控件,TextBox2的Multiline属性改为True,
(3)在Form1窗体上点击右键,选“查看代码”,然后在最顶端输入: using System.IO; using System.Net; using System.Text; private void button1_Click(object sender, System.EventArgs e) { } 括号之间输入下面的代码: byte[] buf = new byte[38192]; HttpWebRequest request = (HttpWebRequest) WebRequest.Create(textBox1.Text); HttpWebResponse response = (HttpWebResponse) request.GetResponse(); Stream resStream = response.GetResponseStream(); int count = resStream.Read(buf, 0, buf.Length); textBox2.Text = Encoding.Default.GetString(buf, 0, count); resStream.Close();
(4)all”按钮,按“F5”运行应用程序,在“请输入URL地址:”后面的单行文本框里输入http://,点击“得到 HTML 代码”按钮,就可以看到该地址的代码了!
下面,我们就对上面的程序做一个分析:
上面的这个程序的功能是抓取网页http://的内容,并在多行文本框里显示出HTML代码,由于返回的数据是字节类型的,因此,我们创建一个名为buf的字节类型的数组变量来存储请求返回来的结果,其中数组的大小与我们要请求返回的数据大小有关系。
首先,我们实例化HttpWebRequest对象,使用WebRequest类的静态方法Create(),该方法的字符串参数就是我们要请求页面的URL地址,由于Create()方法返回的是WebRequest类型的,我们必须对它进行造型(即类型转换)成HttpWebRequest类型,再赋给request变量。一旦我们建立了HttpWebRequest对象,就可以使用它的GetResponse()方法来返回一个WebResponse对象,然后再造型成HttpWebResponse对象赋给response变量。
现在,就可以使用response对象的GetResponseStream()方法来得到响应的文本流了,最后用Stream对象的Read()方法把返回的响应信息放到我们最初创建的字节数组buf中,Read()有3个参数,分别是:要放入的字节数组,字节数组的开始位置,字节数组的长度。
最后把字节转换成字符串,注意:这里采用的采用的是Default编码,它使用默认的编码方式,我们就不用再进行字符编码之间的转换了。也可以利用WebRequest和WebResponse实现以上的功能,代码如下: WebRequest request = WebRequest.Create(textBox1.Text); WebResponse response =request.GetResponse();
输入其它的URL看看是不是很方便!
本文源自:翔宇亭——IT乐园(http://),转载请保留此信息!声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
许多用户在程序开发过程中需要使用C#启动一个外部程序(进程),在使用完毕该外部程序后,又希望能将其关闭。我们特在此对C#启动和关闭外部进程的方法进行一个简单的介
MacCharles抓包工具不过可惜的是,Fidder使用C#开发的,所以就不能在Mac上使用了,不过还有另外一个抓包神器,就是Charles,它是Java开发
本文实例为大家分享了使用C#写出一个简单的记事本程序,供大家参考,具体内容如下编程语言:C#编程环境:VisualStudio2013运行环境:.NETFram
制作一个软件启动界面,很多C#新手不会如何编写一个程序启动界面,网上的教程又很复杂,这里本人分享一个最简单的启动界面制作方法,只适用于C#窗体应用程序,下面我们
字符串的操作是C#程序设计中十分重要的一个组成部分,本文就以实例形式展现了C#实现移除字符串末尾指定字符的方法。相信对大家学习C#程序设计有一定的借鉴价值。关键