-
一个C# 多线程的网页异步抓取类文件代码
一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。
本代码作者:大黑。
本爬虫程序的速度如下:
10线程最快大概400个链接每分钟
6-8线程最快大概200-300个链接每分钟
2-4线程最快大概150-200个链接每分钟
单线程最快大概70-100个链接每分钟
之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
- 2023-05-03 15:55:03下载
- 积分:1
-
C# 创建反射(控制台程序)
C# 创建反射的一个例子,是一个控制台程序,运行时,请先运行cmd命令,打开命令提示符控制台,然后此Debug中的exe文件拖放至cmd窗口中,按下回画键,即可看到创建反射的过程,基于以下代码来实现:
Console.WriteLine ("
Reflection.MemberInfo");
// 取得 Type 和 MemberInfo.
Type MyType =Type.GetType("System.IO.File");
MemberInfo[] Mymemberinfoarray = MyType.GetMembers();
// 取得并显示 DeclaringType 方法
Console.WriteLine("
有 {0} 个成员在 {1} 中.",
Mymemberinfoarray.Length, MyType.FullName);
Console.WriteLine("{0}.", MyType.FullName);
if (MyType.IsPublic)
{
Console.WriteLine("{0} 是共有的(public).", MyType.FullName);
}
- 2022-05-22 18:36:15下载
- 积分:1
-
C# WPF 功能打印的示例
C# WPF 功能打印的示例,加载内容后,可在本程序中直接打印出XAML文档。
private void button2_Click(object sender, RoutedEventArgs e)
{//打印文件
PrintDialog MyDialog = new PrintDialog();
if ((MyDialog.ShowDialog() == true))
{
MyDialog.PrintVisual(this.richTextBox1 as Visual, "我的XAML打印文档");
}
}
private void button3_Click(object sender, RoutedEventArgs e)
{//保存文件
string MyFileName = "MyFile.XAML";
TextRange MyTextRange;
System.IO.FileStream MyStream;
MyTextRange = new TextRange(this.richTextBox1.Document.ContentStart, this.richTextBox1.Document.ContentEnd);
MyStream = new System.IO.FileStream(MyFileName, System.IO.FileMode.Create);
MyTextRange.Save(MyStream, DataFormats.XamlPackage);
MyStream.Close();
}
- 2022-01-23 10:57:00下载
- 积分:1
-
中国象棋源代码
中国象棋源代码,使用Visual c++编写,对喜欢象棋的朋友,可以研究一下算法,具有很好的参考价值~
- 2022-06-03 11:54:15下载
- 积分:1
-
C# 利用“[^]”通配符进行查询
C# 利用“[^]”通配符进行查询
string P_Str_ConnectionStr = string.Format(//创建数据库连接字符串
@"server=WIN-GI7E47AND9RLS;database=db_TomeTwo;uid=sa;pwd=");
string P_Str_SqlStr = string.Format(//创建SQL查询字符串
"SELECT 学生姓名,年龄,性别,家庭住址 FROM tb_Student");
SqlDataAdapter P_SqlDataAdapter = new SqlDataAdapter(//创建数据适配器
P_Str_SqlStr, P_Str_ConnectionStr);
DataTable P_dt = new DataTable();//创建数据表
P_SqlDataAdapter.Fill(P_dt);//填充数据表
return P_dt;//返回数据表
- 2022-03-20 15:58:24下载
- 积分:1
-
C# 笔触画图 打开和保存ink墨迹文件
C# 笔触画图 打开和保存ink墨迹文件的实例,本程序主要是演示用C#打开ink格式的文件,并且进行文件编辑,或者画图新建保存为ink文件,打开墨迹文件后,可选择右侧列表的墨迹颜色,绘制图案,然后保存到ink文件中。
- 2023-07-05 03:25:03下载
- 积分:1
-
w5500 DHCP 客户端 源代码
官方的DHCP 客户端源代码,经本人亲自验证 100% 可用。
- 2023-05-25 06:20:04下载
- 积分:1
-
C#实现的俄罗斯方块程序(源码)
C#实现的俄罗斯方块程序(源码).C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)C#实现的俄罗斯方块程序(源码)
- 2023-05-20 13:10:03下载
- 积分:1
-
C# 在LINQ to DataSet中对分组操作执行子查询
C# 在LINQ to DataSet中对分组操作执行子查询,相关代码:
private void button1_Click(object sender, EventArgs e)
{//在LINQ to DataSet中对分组操作执行子查询
SqlConnection MyConnection = new SqlConnection();
MyConnection.ConnectionString = @"Data Source =.SQLEXPRESS;Initial Catalog=Northwind;Integrated Security=True";
MyConnection.Open();
SqlCommand MyCommand = new SqlCommand("Select * From Orders ", MyConnection);
DataSet MySet = new DataSet();
SqlDataAdapter MyAdapter = new SqlDataAdapter(MyCommand);
MyAdapter.Fill(MySet);
DataTable MyQueryTable = MySet.Tables[0];
var MyQuery = from MyOrder in MyQueryTable.AsEnumerable()
orderby MyOrder.Field("ShipCity")
group MyOrder by MyOrder.Field("ShipCity") into g
select new
{
MyCity = g.Key,
MyMaxFreight = (from MyData in g select MyData.Field("Freight")).Max()
- 2022-01-27 20:20:32下载
- 积分:1
-
一套c#的完整HIS系统源码
一套c#的完整HIS系统源码:已经广泛应用于各级卫生院、社区医院。
内有完整的C#源码。
- 2022-03-24 15:03:57下载
- 积分:1