登录
首页 » C#源码 » Visual C# 多线程异步抓取网页 网络爬虫控制台程序模拟

Visual C# 多线程异步抓取网页 网络爬虫控制台程序模拟

于 2022-05-18 发布 文件大小:56.31 kB
0 226
下载积分: 2 下载次数: 1

代码说明:

Visual C# 多线程异步抓取网页 网络爬虫控制台程序模拟,程序中定义了一个网页类爬虫程序,通过此程序可获得本网页的网址、网页标题、网页的所有链接信息,只读方式,并且返回网页的全部纯文本信息,获得本网页的大小,从HTML代码中分析出链接信息,从一段HTML文本中提取出一定字数的纯文本,提取网页中一定字数的纯文本,包括链接文字,从本网页的链接中提取一定数量的链接,该链接的URL满足某正则式,从本网页的链接中提取一定数量的链接,该链接的文字满足某正则式等等。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • C# 将textBox文本框设置为只读
    C# 将文本框设置为只读,设置只读后,textBox只能使用复制功能,粘贴或编辑都为灰色不可用,本功能的实现方法挺简单,使用文本框的ReadOnly即可,具体用法如下:   textBox1.ReadOnly = true;//将文本框设置为只读   textBox1.Text = "源码素材网";//设置其Text属性
    2023-06-29 15:35:03下载
    积分:1
  • C# 使用IPEndPoint类获取终结点的IP地址和端口号
    Visual C# UseIPEndPoint例子,使用IPEndPoint类对象获取终结点的IP地址和端口号,运行生成的Exe文件,得到的结果如图所示:   以下是实现本功能的关键代码:   先实例化IPEndPoint类对象:   IPEndPoint IPEPoint = new IPEndPoint(IPAddress.Parse(textBox1.Text), 80);   //使用IPEndPoint类对象获取终结点的IP地址和端口号   label2.Text = "IP地址:"+IPEPoint.Address.ToString() + " 端口号:" + IPEPoint.Port;
    2022-01-28 05:14:25下载
    积分:1
  • C# 读取GDI+图像元数据
    C# 读取GDI+图像元数据,比如可读取图片的长度和宽度/ID/类型等信息.
    2023-04-30 06:00:03下载
    积分:1
  • C#将listBox值添加到Textbox控件中
    C#将listBox值添加到Textbox控件中,在Listbox中输入任意内容,单击添加按钮即可将此内容添加到Textbox文本框中显示,同时还将值从ListBox中移除:   添加值:   listBox1.Items.Add(textBox1.Text);   textBox1.Text = "";   将值从listBox移除:   listBox1.Items.Remove(listBox1.SelectedItem);
    2022-06-15 11:46:02下载
    积分:1
  • C# 复制粘贴等剪切板操作一例
    C# 复制粘贴等剪切板操作一例,存放剪贴板循环的内容,复制文本到系统剪贴板,粘贴前弹出确认对话框:"剪贴板中的数据不是本程序复制的数据,是否粘贴?"   本程序还可以 直接打开TXT文件,将文字内容显示在窗口的文本框中。
    2023-04-16 19:35:02下载
    积分:1
  • C#邮件收发程序 发Email和接收邮件
    C#实现的一个邮件收发程序,功能主要是两大块,发送邮件和接收邮件,类似于一个邮件客户端的功能,在这个邮件发送程序中,写了几个函数分别实现相关的模块功能:   对获得连接的用户身份进行验证   获取登录邮箱的各种信息   判断返回的字符串信息,如果是“+OK”,证明登录成功,否则登录失败   根据输入的邮件编号读取邮件信息   获取由参数标识的邮件的全部文本   对读取的邮件内容进行Base64编码   “登录”按钮事件,实例化SmtpClient邮件发送类对象   初始化StreamReader对象,以便以流的形式读取远程主机中的内容   获取远程主机中指定用户的邮件信息   获得远程主机上指定邮件的相关信息,存储到一个string类型的数组中,数组中的内容包括:邮件日期、发信人、收信人、邮件主题、邮件内容等。
    2022-04-23 02:56:49下载
    积分:1
  • C# WPF 鼠标光标操作示例
    C# WPF 鼠标光标操作示例,将光标移到开头位置,将光标移到末尾位置,将当前输入的大写字母转换成小写字母,将当前输入的小写字母转换成大写字母,不转换当前输入的大小写字母。
    2022-07-21 18:35:38下载
    积分:1
  • C# 查询订购产品ID为51的客户信息
    C# 查询订购产品ID为51的客户信息,需要连接数据库来测试,相关代码分享如下:   //查询订购产品ID为51的客户信息   SqlConnection MyConnection = new SqlConnection(@"Data Source =luobin-PCSQLEXPRESS;Initial Catalog=Northwind;Integrated Security=True");   MyConnection.Open();   DataSet MyDataSet = new DataSet("CustomerOrdersDetails");   SqlDataAdapter MyCustomerAdapter = new SqlDataAdapter("SELECT * FROM Customers", MyConnection);   MyCustomerAdapter.Fill(MyDataSet, "Customers");   DataTable MyTable = new DataTable();   MyCustomerAdapter.Fill(MyTable);   SqlDataAdapter MyOrderAdapter = new SqlDataAdapter("SELECT * FROM Orders", MyConnection);   MyOrderAdapter.Fill(MyDataSet, "Orders");   SqlDataAdapter MyDetailAdapter = new SqlDataAdapter("SELECT * FROM [Order Details]", MyConnection);   MyDetailAdapter.Fill(MyDataSet, "OrderDetails");   MyConnection.Close();   MyDataSet.Relations.Add("CustOrders",MyDataSet.Tables["Customers"].Columns["CustomerID"],MyDataSet.Tables["Orders"].Columns["CustomerID"]).Nested = true;   MyDataSet.Relations.Add(
    2023-04-28 12:35:03下载
    积分:1
  • C# SelectionStart SelectionEnd时间段选择日历范例
    C# Calendar 时间段选择日历范例,可选择时间区间,调用 了C#中的SelectionStart SelectionEnd日期函数实现的功能,这个程序演示了两种功能:   1、获取控件当前的日期和时间   textBox1.Text = monthCalendar1.TodayDate.ToString();   2、时间起始段的选择:   通过SelectionStart属性获取用户选择的起始日期   textBox2.Text = monthCalendar1.SelectionStart.ToString();   通过SelectionEnd属性获取用户选择的结束日期   textBox3.Text = monthCalendar1.SelectionEnd.ToString();
    2022-08-15 10:37:28下载
    积分:1
  • 一个C# 多线程的网页异步抓取类文件代码
    一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
    2023-05-03 15:55:03下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载