-
一个C# 多线程的网页异步抓取类文件代码
一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。
本代码作者:大黑。
本爬虫程序的速度如下:
10线程最快大概400个链接每分钟
6-8线程最快大概200-300个链接每分钟
2-4线程最快大概150-200个链接每分钟
单线程最快大概70-100个链接每分钟
之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
- 2023-05-03 15:55:03下载
- 积分:1
-
C# 去重 去掉数组中的重复数字
C# 去重功能范例演示,去掉数组中的重复数字,定义一个一维数组,并赋值,循环遍历定义的一维数组,并输出其中的元素,定义两个int类型的变量,分别用来表示数组下标和存储新的数组元素,,根据数组下标的值遍历数组元素,定义一个标识,以便从这里开始执行语句,然后再定义一个循环数组,循环遍历排序后的数组元素并输出:
Console.Write("排序后的数组:");
foreach (int n in arr)//循环遍历排序后的数组元素并输出
Console.Write(n + " ");
int[] newArr = RemoveNum(arr);//去掉重复数字
Console.WriteLine();
Console.Write("去掉重复数字之后的数组:");
foreach (int n in newArr)//循环遍历排序后的数组元素并输出
Console.Write(n + " ");
Console.ReadLine();
- 2023-08-21 20:00:03下载
- 积分:1
-
C# 演示内连接查询的实现方法
C# 演示内连接查询的实现方法,本演示将连接SQLSERVER数据库,查询结束将显示内联接查询结果,主要操作的是学生成绩表,学生信息表。
- 2023-07-15 12:30:03下载
- 积分:1
-
C# 启动和关闭无窗体定时器
C# 启动和关闭无窗体定时器,单击窗体上对应的按钮,即可完成无窗体定时器的启动和关闭功能,核心代码为:
private void button1_Click(object sender, EventArgs e)
{//启动无窗体定时器
var MyClass = new MyThreadClass();
MyTimer = new System.Threading.Timer(MyClass.MyCallBackMethod, MyClass, 5000, 2000);
}
private void button2_Click(object sender, EventArgs e)
{//关闭无窗体定时器
MyTimer.Dispose();
}
- 2022-04-09 03:53:39下载
- 积分:1
-
C# 模拟Windows CMD Ping命令
C# 模拟Windows CMD Ping命令,这个Ping和Windows中的控制台Ping命令几乎一样,如果用户没有输入任何参数则给出提示,初始化一个ICMP类型的Socket,用户提供了主机名和循环参数(开关,“/r”),调用 PingHost 方法并将主机名作为参数传递给它,如果用户还提供了其他的参数则忽略,取得报文内容,转化为字节数组,然后计算报文的长度。
在校验和算法方面,把ICMP报头二进制数据以2字节为单位累加起来,若ICMP报头为奇数个字节,会剩下最后一字节。把最后一个字节视为一个2字节数据的高字节,这个2字节数据的低字节为0,继续累加。。
- 2023-05-08 16:20:03下载
- 积分:1
-
C#使用SqlDataAdapter对象的Fill方法填充DataSet
C#使用SqlDataAdapter对象的Fill方法填充DataSet,具体是调用DataSet的Copy方法复制DataSet中的内容,完成填充的功能:
private void Form1_Load(object sender, EventArgs e)
{
//实例化SqlConnection变量conn,连接数据库
conn = new SqlConnection("server=.;database=db_14;uid=sa;pwd=");
//创建一个SqlCommand对象
SqlCommand cmd = new SqlCommand("select * from tb_test", conn);
SqlDataAdapter sda = new SqlDataAdapter();//创建一个SqlDataAdapter对象
//设置SqlDataAdapter对象的SelectCommand属性,设置执行的SQL语句
sda.SelectCommand = cmd;
ds = new DataSet(); //实例化DataSet
sda.Fill(ds, "test");//使用SqlDataAdapter对象的Fill方法填充DataSet
dataGridView1.DataSource = ds.Tables[0];//设置dataGridView1的数据源
}
private void button1_Click(object sender, EventArgs e)
{
DataSet ds1 = ds.Copy();//调用DataSet的Copy方法复制ds中的内容
dataGridView2.DataSource = ds1.Tables[0];//将ds1作为dataGridView2的数据源
}
- 2022-11-04 09:50:03下载
- 积分:1
-
C# 热键模拟 模拟数字输入、英文输入Home键、Backspace键
C#通过窗体的按钮来模拟按下键盘上指定键的功能,比如模拟出了Shift+Home、Delete、Enter、Home、Backspace、数字输入、英文输入等键的功能,相关功能模块代码如下,可自己添加相关的模块功能键:
private void button3_Click(object sender, System.EventArgs e)
{//Backspace空格键
this.richTextBox1.Focus();
SendKeys.Send("{Backspace}");
}
private void button4_Click(object sender, System.EventArgs e)
{ //End结束键
this.richTextBox1.Focus();
SendKeys.Send("{End}");
}
private void button5_Click(object sender, System.EventArgs e)
{//Home键
this.richTextBox1.Focus();
SendKeys.Send("{Home}");
}
private void button6_Click(object sender, System.EventArgs e)
{//Enter回车键
this.richTextBox1.Focus();
SendKeys.Send("{Enter}");
}
private void button7_Click(object sender, System.EventArgs e)
{//Delete删除键
this.richTextBox1.Focus();
SendKeys.Send("{Delete}");
}
- 2022-07-19 00:15:03下载
- 积分:1
-
C#验证码识别程序OCR源码实例
C#验证码识别程序OCR源码实例,程序代码 在Class1.cs中,本程序中将涉及到以下知识点:加载位图,图像反转、分割、取有效区域,识别位图,生成验证码样本等,程序在CMD控制台端运行,先运行CMD命令,然后将本程序编译目录中生成的exe,拖动至cmd窗口中即可运行。
- 2022-01-25 23:27:51下载
- 积分:1
-
一个简单的C# 多线程实例
一个简单的C# 多线程实例,创建多线程的简单实例,创建线程一和线程二,两者单独完成指定侨任务,创建多线程主要是使用C#中内置的方法new Thread()来实现,然后让每个线程执行一个for循环,来测试线程运行的效果。创建线程和运行线程的代码,可参考如下代码:
Thread thread1 = new Thread(new ThreadStart( Count));
thread1.Name="线程一";
Thread thread2 = new Thread(new ThreadStart( Count));
thread2.Name="线程二";
thread1.Start();
thread2.Start();
- 2022-08-18 15:51:20下载
- 积分:1
-
Visual C#播放媒体文件
Visual C#播放媒体文件,支持播放的文件格式:mpg;*.avi;*.wma;*.wmv;*.mov;*.wav;*.mp2; *.mp3,支持的播放控制功能有:播放、暂停、停止、静音等。
运行后的程序界面如图所示。
- 2023-07-22 03:40:03下载
- 积分:1