登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 228
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • C# 最简单的文件复制实例
    C# 最简单的文件复制实例,文件拷贝的示例,比较简单,若要启用启用xp_cmdshell, 请查看启用xp_cmdshell使用说明。
    2022-03-01 11:06:17下载
    积分:1
  • C# 利用数据对象修改数据
    C# 利用数据对象修改数据,就是简单的修改数据库中的数据,利用数据对象来修改。运行效果如视图所示。本示例代码 中定义了向个C#操作数据库的方法,比如:从数据库中获取指定数据记录、在窗体中显示指定数据记录等。
    2023-05-31 11:00:03下载
    积分:1
  • 支付宝免签收款
    支付宝免签收款源码,不用购买接口,免费试用
    2022-01-24 10:18:05下载
    积分:1
  • C# 实现简单的WPF版图片淡入淡出效果
    C# 实现简单的WPF版图片淡入淡出效果。运行本效果实例,即可看到图片淡入淡出变化,先淡入再淡出,不停的变化。
    2022-01-25 21:23:37下载
    积分:1
  • C#SQL 版人事工资管理系统
    C#版人事工资管理系统 源代码,比较综合的一个系统,是一本C#应用编程中的一个范例,对C#编程有很好的借鉴参考意义。这套人事工资管理系统可以进行档案管理、奖罚管理和工资管理等,另外还可以通过水晶报表对工资信息进行打樱   管理员用户名为tsoft,密码为111。   (2)本系统有两种操作权限,一种是超级管理员,一种是一般用户,超级管理员具有所有权限,普通用户则不可以执行系统管理及操作员管理操作。   关于系统的使用,请参见源码包中的使用说明。
    2022-06-26 22:25:29下载
    积分:1
  • C# 利用数据绑定控件ListView修改数据
    cmd.CommandText = "update 员工表 set 员工姓名= +//设置将要执行的SQL语句    this.textBox2.Text + ,基本工资= + this.textBox4.Text +    ,工作评价= + this.textBox5.Text +    where 员工编号= + this.textBox1.Text + ";   con.Open();//打开数据库连接   cmd.Connection = con;//设置命令对象的连接属性   cmd.ExecuteNonQuery();//执行SQL语句   con.Close();//关闭数据库连接   return true;//方法返回布尔值
    2022-01-24 18:10:16下载
    积分:1
  • C# 使用Graphics对象的DrawRectangle方法绘制粗边框图形
    C# 使用Graphics对象的DrawRectangle方法绘制粗边框图形,可以方便的自定义图形的边框大小,如示例截图所示的效果,具体的代码编写方法为:   private void button1_Click(object sender, EventArgs e)   {    Graphics graphics = this.CreateGraphics();//声明一个Graphics对象    Pen myPen = new Pen(Color.Black, 8);//实例化Pen类    //调用Graphics对象的DrawRectangle方法    graphics.DrawRectangle(myPen, 10, 10, 150, 100);   }
    2022-03-24 16:40:35下载
    积分:1
  • C# 从RichTextBox 控件中提取文本内容
    C# 从RichTextBox 控件中提取文本内容,并设置RichTextBox 控件中的字体大小-附完整源代码,   private void button1_Click(object sender, RoutedEventArgs e)   {//从RichTextBox 控件中提取文本内容    TextRange MyText = new TextRange(this.richTextBox1.Document.ContentStart, this.richTextBox1.Document.ContentEnd);    MessageBox.Show(MyText.Text, "RichTextBox控件中的文本内容",MessageBoxButton.OK);   }   private void button2_Click(object sender, RoutedEventArgs e)   {//设置RichTextBox 控件中的字体大小    TextRange MyText = new TextRange(this.richTextBox1.Document.ContentStart, this.richTextBox1.Document.ContentEnd);    MyText.ApplyPropertyValue(TextElement.FontSizeProperty, 36.00);    MyText.ApplyPropertyValue(TextElement.FontWeightProperty, FontWeights.Bold);   
    2022-09-21 17:55:02下载
    积分:1
  • lua
    lua源码  可编译 安装 使用库 内有说明文档readme.html  lua是广泛使用的脚本语言,用途广泛
    2023-03-10 12:30:04下载
    积分:1
  • C# ScanPort 局域网端口扫描程序
    C#端口扫描程序,适用于局域网计算机的扫描,扫描时将遍历局域网中的工作组,并将计算机名显示在下拉列表控件中,用户可指定某电脑的端口扫描范围。判断工作组名称,遍历指定工作组中的所有计算机名称,并显示在ListBox控件中:   //实例化DirectoryEntry对象,以便获得局域网组名和计算机名   DirectoryEntry DEMain = new DirectoryEntry("WinNT:");   TcpClient TClient = null;//实例化连接侦听对象   private Thread myThread; //实例化线程对象   string strName = ""; //记录选择的计算机名称   int intflag = 0; //扫描到的端口号   int intport = 0; //记录已用端口号   int intstart = 0; //扫描的开始端口号   int intend = 0; //扫描的结束端口号   详细情况请下载源码。
    2023-05-16 16:35:03下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载