-
一个C# 多线程的网页异步抓取类文件代码
一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。
本代码作者:大黑。
本爬虫程序的速度如下:
10线程最快大概400个链接每分钟
6-8线程最快大概200-300个链接每分钟
2-4线程最快大概150-200个链接每分钟
单线程最快大概70-100个链接每分钟
之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
- 2023-05-03 15:55:03下载
- 积分:1
-
C# DataGridView初级操作范例
这是一个C# DataGridView初级操作范例,演示了连接数据库、读取数据库、移动数据库指针到下一条、上一条记录的操作,以及将数据绑定到DataGridView控件中显示的整个过程,比较基础级的C#源码,因此希望新手参考:
private void shippersDataGridView_DataError(object sender, DataGridViewDataErrorEventArgs e)
{//如果错误发生在提交操作过程中,则在 MessageBox 中显示该错误
if (e.Exception != null && e.Context == DataGridViewDataErrorContexts.Commit)
{//测试时在Phone列中输入一个超长的字符串
MessageBox.Show(e.Exception.Message, "信息提示", MessageBoxButtons.OK);
}
}
- 2022-01-22 02:28:43下载
- 积分:1
-
C#制作的WPF立体动画简单实例
C#制作的WPF立体动画简单实例,像是一个太阳能电池版样子的立体动画,改变角度,是一个相当基础的WPF动画制作实例,运行效果请参见截图所示。
- 2023-09-04 01:05:03下载
- 积分:1
-
一个国外的C# 3D图表例子及源码
一个国外的C# 3D图表例子及源码,不知道叫什么名字,有滚动条的应用,可用鼠标拖动改变图表的透视度,形成三维的图表效果,注释英文,有兴趣的自己下载源码研究吧。
- 2023-01-07 08:20:03下载
- 积分:1
-
C# 验证码自动生成 点击更换 可用于登录
C#自动生成登录程序需要使用到的验证码功能,支持点击更换验证码。所用到的组件有:AxInterop.SHDocVw.dll、Interop.SHDocVw.dll、Microsoft.mshtml.dll,在进行验证码生成的扫描方面,从左向右一列一列扫描,寻找四个数字的左右边界以切割,进行左右边界初始化,加载10个标准数字,分割出来的4个数字分别与等宽的标准数字相匹配。
- 2022-10-11 11:50:03下载
- 积分:1
-
比特币源代码bitcoin
比特币 (货币符号: ฿;英文名:Bitcoin;英文缩写: BTC),是一种用于开源的P2P软件而产生的电子货币。提供最新的比特币开源代码以供分析。
- 2022-05-13 19:46:30下载
- 积分:1
-
C# 获取当前时区的标准时区名称
C# 获取当前时区的标准时区名称:private void button1_Click(object sender, EventArgs e)
{//获取当前时区的标准时区名称
var MyInfo="当前时区的标准名称是:";
if(TimeZone.CurrentTimeZone.IsDaylightSavingTime(DateTime.Now))
MyInfo+= TimeZone.CurrentTimeZone.DaylightName;
else
MyInfo+= TimeZone.CurrentTimeZone.StandardName;
MessageBox.Show(MyInfo, "信息提示", MessageBoxButtons.OK);
}
- 2022-04-27 18:00:04下载
- 积分:1
-
C# jsapi微信支付源码
C# 微信jsapi支付源码,微信支付实例,编译生成的DLL程序与ASP.NET相结合,实现微信的ISAPI支付功能,需要服务器启用ASP.NET环境,一般是安装有微软的.NET Framework框架4.5以上版本。
- 2023-04-03 00:20:04下载
- 积分:1
-
C# WPF 文字动态旋转动画
C# WPF 文字动态旋转动画,这个是动态的,文字以动画方式旋转360度,无缝旋转,WPF制作动画效果还是挺方便的,这个例子十分简单,文字的旋转也可变通为图片的旋转。运行效果图如下示。
- 2022-11-09 17:45:04下载
- 积分:1
-
C# OpenRead获取网站源代码,并保存到TXT文件Stream流中
C#获取网页源代码,并将其保存为TXT文件,这里应用了OpenRead和Stream流方法,具体的实现,请参见以下代码:
richTextBox1.Text = string.Empty;
WebClient wclient = new WebClient();//实例化WebClient类对象
wclient.BaseAddress = textBox1.Text;//设置WebClient的基URI
wclient.Encoding = Encoding.UTF8;//指定下载字符串的编码方式
//为WebClient类对象添加标头
wclient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");
//使用OpenRead方法获取指定网站的数据,并保存到Stream流中
Stream stream = wclient.OpenRead(textBox1.Text);
//使用流Stream声明一个流读取变量sreader
StreamReader sreader = new StreamReader(stream);
string str = string.Empty;//声明一个变量,用来保存一行从WebCliecnt下载的数据
//循环读取从指定网站获得的数据
while ((str = sreader.ReadLine()) != null)
{
richTextBox1.Text += str + "
";
}
//调用WebClient对象的DownloadFile方法将指定网站的内容保存到文件中
wclient.DownloadFile(textBox1.Text, DateTime.Now.ToFileTime() + ".txt");
MessageBox.Show("保存到文件成功");
- 2022-02-02 08:55:49下载
- 积分:1