登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 229
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • 一些小数 整数各种数学计算方法示例合集
    C#演示数学计算的源码,演示了一些小数 整数各种数学计算方法示例,包括了源码合集,比如设置货币小数点左边的分节号、设置数字小数点左边的分节号、对整型算术运算进行溢出检查、实现基本数据类型的任意转换、随机获取数组中的数据元素等,里面每个功能都对应一段代码,你可把这些功能片段整合到你的C#函数集中。
    2022-03-24 00:00:20下载
    积分:1
  • C# 序列中所有元素是否都满足指定条件
    C# 序列中所有元素是否都满足指定条件,使用List序列对象创建List人员列表,判断是否所有人员的年龄都大于30岁,dgpwC#中序列的用法:   bool result = People.All(p => p.Old > 30);显示查询结果:   label1.Text = "数据源:{1,"王*军",28},{2,"赵*东",31},{3,"王*科",33}";//数据源   label2.Text = "查询表达式:All(p => p.Old > 30)";//查询表达式/操作   label3.Text = "查询结果:" + result.ToString();//查询结果   更详细代码请下载源码。
    2023-08-15 15:50:03下载
    积分:1
  • C# 只运行一个实例的C#登陆且跳转程序
    C# 只运行一个实例的C#登陆且跳转程序_首先 设置 连接到配置文件组建 App.config,当然 这里的 ConfigurationManager 系统是默认不使用其命名空间的 因此需要解析。连接SQLSERVER数据库后判断数据库密码等。本登录窗口防止多开,只能运行一个实例,多运行会被弹窗提示。
    2022-12-05 17:35:03下载
    积分:1
  • C# DataGridView初级操作范例
    这是一个C# DataGridView初级操作范例,演示了连接数据库、读取数据库、移动数据库指针到下一条、上一条记录的操作,以及将数据绑定到DataGridView控件中显示的整个过程,比较基础级的C#源码,因此希望新手参考:   private void shippersDataGridView_DataError(object sender, DataGridViewDataErrorEventArgs e)   {//如果错误发生在提交操作过程中,则在 MessageBox 中显示该错误    if (e.Exception != null && e.Context == DataGridViewDataErrorContexts.Commit)    {//测试时在Phone列中输入一个超长的字符串    MessageBox.Show(e.Exception.Message, "信息提示", MessageBoxButtons.OK);    }   }
    2022-01-22 02:28:43下载
    积分:1
  • C# Hospital MIS 医院业务信息维护系统
    C# Hospital MIS 医院业务信息维护系统,基于VisualC# 2012编写开发的,采用SQLSERVER数据库,内含建库脚本,编译或修改调试本源码前请先重建数据库,并连接好。   本医院业务系统完成的功能有:   导医服务、病人登记、病人预约、前台交费、约品退费、欠费催款、评价管理、医师服务、开医令、药房服务、药品管理、发放药品、退药入库、门诊统计、按科室统计、每日统计、交接班汇总、基本设置、检验设置、检查设置、科室设置、员工值班设置、用户管理、折扣卡设置等功能。
    2022-07-16 15:03:12下载
    积分:1
  • lua
    lua源码  可编译 安装 使用库 内有说明文档readme.html  lua是广泛使用的脚本语言,用途广泛
    2023-03-10 12:30:04下载
    积分:1
  • C# 利用聚合函数MIN求销售额、利润最少的商品
    C# 利用聚合函数MIN求销售额、利润最少的商品,具体来说是查询利润最少的商品信息,查询销售额最少的商品信息,查询结果将绑定显示于DataGridView数据网格控件中。   下面以查询销售额最少的商品信息为例,帖出具体的代码实现:   private DataTable GetMoney()   {    string P_Str_ConnectionStr = string.Format(//创建数据库连接字符串    @"server=WIN-GI7E47AND9RLS;database=db_TomeTwo;uid=sa;pwd=");    string P_Str_SqlStr = string.Format(//创建SQL查询字符串    "SELECT * FROM tb_Ware WHERE 销价 IN(SELECT MIN(销价) FROM tb_Ware)");    SqlDataAdapter P_SqlDataAdapter = new SqlDataAdapter(//创建数据适配器    P_Str_SqlStr, P_Str_ConnectionStr);    DataTable P_dt = new DataTable();//创建数据表    P_SqlDataAdapter.Fill(P_dt);//填充数据表    return P_dt;//返回数据表   }   其它部分的查询请下载本源码包。
    2022-07-25 21:11:39下载
    积分:1
  • C# 为WPF应用程序设置渐变的背景颜色的实例
    C# 为WPF应用程序设置渐变的背景颜色的源码实例,窗口打开后,单击按钮,即可把窗口的背景色设置成渐变色,来看如下代码:private void button1_Click(object sender, RoutedEventArgs e)   {//为WPF应用程序设置渐变的背景颜色(文件名称:Window1.xaml.cs)    this.Background = (Brush)TryFindResource("MyGradientBackground");   }
    2023-05-10 22:40:03下载
    积分:1
  • C#开发的SQL数据库存储过程生成器附
    C#开发的SQL数据库存储过程生成器附源码,是由VS开发的一款代码生成器,名字叫做“SocanCode”,程序作者:廖勇军。主要是生成数据库的存储过程,打开窗口后,在左侧的窗格可新建存储过程,按照程序的导航一步步建立存储过程,最后生成存储过程代码。   SocanCode存储代码生成器,目前已经全部开源,除了生成存储过程代码外,这个程序还有一些其它的小工具,比如HTML转JavaScript、正则表达式生成等。
    2023-06-01 08:10:03下载
    积分:1
  • 贪吃蛇
    游戏贪吃蛇源代码,c语言编写,学习用。
    2022-12-05 05:10:03下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载