登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 244
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • libiec61850 1.3版本的库源码
    libiec61850  1.3版本的库源码,有需要自己下载!!
    2022-03-06 13:46:44下载
    积分:1
  • C#制作文字渐变的 WPF 窗体按钮特效
    C#制作文字渐变的 WPF 窗体按钮特效,就是大家熟悉的渐变按钮,按钮的大小会随窗口的变化而变化,且按钮中的文本颜色呈现渐变色彩,当鼠标悬停于上面时,还会具有不同的渐变动画效果,截图所示为静态效果,请下载后编译查看动画效果.
    2022-01-26 00:26:26下载
    积分:1
  • C# WPF实现变形和位移动画效果
    C# WPF实现变形和位移动画效果,运行本源码生成的EXE程序,会看到窗口中的方块发生形变动画,位移也会发生移动,生成了多个阶段的动画,方块先向右、再向下运动,这个过程中形状大小同时变化,用Wpf可以很容易的实现这种效果,期待感兴趣的C#爱好者学习研究源代码,运行效果如下图所示。
    2023-08-12 17:55:03下载
    积分:1
  • C# 使用字符串数组创建一组单选框数据
    C# 基于字符串数组创建一组单选按钮的例子,附上了例子源代码,大家可了解C#字符串数组的简单应用。   以下是例子中的代码,运行后可见如下图所示的图片效果:   //基于字符串数组创建一组单选按钮   string[] MyArray = new string[4];   MyArray[0] = "渝北区";   MyArray[1] = "巴南区";   MyArray[2] = "长寿区";   MyArray[3] = "南岸区";   RadioButton[] MyRadioButtons =new RadioButton[4];   for (int i = 0; i < 4; ++i)   {    MyRadioButtons[i] = new RadioButton();    MyRadioButtons[i].Text = MyArray[i];    MyRadioButtons[i].Location = new System.Drawing.Point(    10, 20 + i * 20);    this.groupBox1.Controls.Add(MyRadioButtons[i]);   }   this.groupBox1.Text = "请评选全市卫生城区:";
    2022-02-27 00:14:46下载
    积分:1
  • C# 从Uri指定的位置获取Cookie
    C# 从Uri指定的位置获取Cookie,获取当前WPF程序的Cookie数据,Cookie设置成功,请转到第二页面测试!
    2023-04-11 17:30:04下载
    积分:1
  • C# WPF实现图片浮雕、凹凸的图像效果
    Visual C# WPF实现图片浮雕、凹凸的图像效果,看上去很有雕刻的效果,这个功能对于熟悉PS的朋友,可能不陌生,用C#的WPF技术,可以轻松实现类似效果,只是说法不一样,在本例中,叫做“凹凸位图特效”,本代码在功能实现上,分为全部实现和局部实现,代码参考如下:   private void button1_Click(object sender, RoutedEventArgs e)   {//凹凸位图特效全部作用于图像    this.image1.BitmapEffectInput = null;    var MyEffect = new System.Windows.Media.Effects.EmbossBitmapEffect();    MyEffect.Relief = 0.8;    MyEffect.LightAngle =320;    this.image1.BitmapEffect = MyEffect;   }   private void button2_Click(object sender, RoutedEventArgs e)   {//凹凸位图特效部分作用于图像    var MyEffect = new System.Windows.Media.Effects.EmbossBitmapEffect();    MyEffect.Relief = 0.8;    MyEffect.LightAngle = 320;    this.image1.BitmapEffect = MyEffect;    var MyInput = new System.Windows.Media.Effects.BitmapEffectInput();    MyInput.AreaToApplyEffect = new Rect(.25, .25, .50, .50);    MyInput.AreaToApplyEffectUnits = System.Windows.Media.BrushMappingMode.RelativeToBoundingBox;    this.image1.BitmapEffectInput= MyInput;   }   完整
    2022-02-20 09:13:59下载
    积分:1
  • C# 写入并读取内存流
    C# 写入并读取内存流,演示一些基本的内存流操作方法,编写以下代码可实现这些功能:   byte[] BContent = Encoding.Default.GetBytes(textBox1.Text);   MemoryStream MStream = new MemoryStream(100);   MStream.Write(BContent, 0, BContent.Length);   richTextBox1.Text = "分配给该流的字节数:" + MStream.Capacity.ToString() + " 流长度:"    + MStream.Length.ToString() + " 流的当前位置:" + MStream.Position.ToString();   MStream.Seek(0, SeekOrigin.Begin);   byte[] byteArray = new byte[MStream.Length];   int count = MStream.Read(byteArray,0,(int)MStream.Length-1);   while (count < MStream.Length)   {    byteArray[count++] = Convert.ToByte(MStream.ReadByte());   }   char[] charArray = new char[Encoding.Default.GetCharCount(byteArray, 0, count)];   Encoding.Default.GetChars(byteArray, 0, count, charArray, 0);   for (int i = 0; i < charArray.Length; i++)   {    richTextBox2.Text += charArray[i].ToString();   }
    2022-03-11 09:55:00下载
    积分:1
  • C# 对组合查询后的结果进行升序、降序排序
    C# 对组合查询后的结果进行排序,排序包括了升序、降序排列。查询到数据后,单击窗口中的对应按钮即可实现对应的排序操作,核心代码的编写有如下参考:   string P_Str_ConnectionStr = string.Format(//创建数据库连接字符串    @"server=WIN-GI7E47AND9RLS;database=db_TomeTwo;uid=sa;pwd=");   string P_Str_SqlStr = string.Format(//创建SQL查询字符串    @"SELECT 年龄 AS 信息 FROM tb_Student UNION SELECT 总分 FROM tb_grade UNION SELECT 课程编号 FROM tb_course ORDER BY 信息 ASC");   SqlDataAdapter P_SqlDataAdapter = new SqlDataAdapter(//创建数据适配器    P_Str_SqlStr, P_Str_ConnectionStr);   DataTable P_dt = new DataTable();//创建数据表   P_SqlDataAdapter.Fill(P_dt);//填充数据表   return P_dt;//返回数据表
    2022-05-06 02:20:47下载
    积分:1
  • 半条命II游戏源代码
    半条命II游戏源代码,这是完整的企业级游戏源码,采用vc6编写。是开发大型游戏的必备参考,非常有价值。
    2022-03-23 19:15:28下载
    积分:1
  • C#监测服务运行源码
    C#监测服务运行源码,监测服务的运行,且服务重启时会给相应用户发邮件
    2022-01-26 04:33:30下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载