-
一个C# 多线程的网页异步抓取类文件代码
一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。
本代码作者:大黑。
本爬虫程序的速度如下:
10线程最快大概400个链接每分钟
6-8线程最快大概200-300个链接每分钟
2-4线程最快大概150-200个链接每分钟
单线程最快大概70-100个链接每分钟
之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
- 2023-05-03 15:55:03下载
- 积分:1
-
C#使用SqlDataAdapter对象的Fill方法填充DataSet
C#使用SqlDataAdapter对象的Fill方法填充DataSet,具体是调用DataSet的Copy方法复制DataSet中的内容,完成填充的功能:
private void Form1_Load(object sender, EventArgs e)
{
//实例化SqlConnection变量conn,连接数据库
conn = new SqlConnection("server=.;database=db_14;uid=sa;pwd=");
//创建一个SqlCommand对象
SqlCommand cmd = new SqlCommand("select * from tb_test", conn);
SqlDataAdapter sda = new SqlDataAdapter();//创建一个SqlDataAdapter对象
//设置SqlDataAdapter对象的SelectCommand属性,设置执行的SQL语句
sda.SelectCommand = cmd;
ds = new DataSet(); //实例化DataSet
sda.Fill(ds, "test");//使用SqlDataAdapter对象的Fill方法填充DataSet
dataGridView1.DataSource = ds.Tables[0];//设置dataGridView1的数据源
}
private void button1_Click(object sender, EventArgs e)
{
DataSet ds1 = ds.Copy();//调用DataSet的Copy方法复制ds中的内容
dataGridView2.DataSource = ds1.Tables[0];//将ds1作为dataGridView2的数据源
}
- 2022-11-04 09:50:03下载
- 积分:1
-
C# 以WrapWithOverflow方式、Wrap方式、NoWrap方式显示文字
C#以三种方式显示文字,分别以WrapWithOverflow方式、Wrap方式、NoWrap方式将文字显示在窗口中,这三种方式实现的代码请看以下代码:
private void button1_Click(object sender, RoutedEventArgs e)
{//WrapWithOverflow方式
this.MyTextBlock.TextWrapping = System.Windows.TextWrapping.WrapWithOverflow;
}
private void button3_Click(object sender, RoutedEventArgs e)
{//Wrap方式
this.MyTextBlock.TextWrapping = System.Windows.TextWrapping.Wrap;
}
private void button2_Click(object sender, RoutedEventArgs e)
{//NoWrap方式
this.MyTextBlock.TextWrapping = System.Windows.TextWrapping.NoWrap;
}
- 2022-01-25 20:43:04下载
- 积分:1
-
C# WinForm版 附加数据库
附加数据库程序,C# WinForm版 附加数据库,附加SQLSERVER数据库的MDF和LDF文件,在SQL企业管理器中就可完成这项功能。
- 2022-03-23 13:53:28下载
- 积分:1
-
网狐_台球_源码_亲测_特效碰撞棒棒滴_HGE框架
网狐台球源码,亲测,支持6603,经典平台。
HGE框架,UI,碰撞效果特别好。
运营级代码。
走过路过千万不要错过。
- 2022-11-23 09:40:03下载
- 积分:1
-
Visual C# 交叉表查询
这是一个Visual C# 交动态交叉表查询示例程序,动态交叉表(SQLServer 2005)查询例子源码:
private void Frm_Main_Load(object sender, EventArgs e)
{
SqlConnection con = new SqlConnection(//创建数据库连接对象
@"Server=WIN-GI7E47AND9RLS;database=db_TomeTwo;Uid=sa;Pwd=");
SqlDataAdapter dap = new SqlDataAdapter(//创建数据适配器对象
"select * from tb_VenditionInfo", con);
DataSet ds = new DataSet();//创建数据集
dap.Fill(ds, "table");//填充数据集
dgv_Message.DataSource =//设置数据源
ds.Tables[0].DefaultView;
}
private void btn_Select_Click(object sender, EventArgs e)
{
SqlConnection con = new SqlConnection(//创建数据库连接对象
@"Server=WIN-GI7E47AND9RLS;database=db_TomeTwo;Uid=sa;Pwd=");
SqlDataAdapter dap = new SqlDataAdapter("Corss", con);//创建数据适配器
dap.SelectCommand.CommandType =//设置命令为存储过程
CommandType.StoredProcedure;
DataSet ds = new DataSet();//创建数据集
dap.Fill(ds, "table");//填充数据集
dgv_Message.DataSource =//设置数据源
ds.Tables[0].D
- 2022-12-26 00:25:03下载
- 积分:1
-
C# 利用数据对象修改数据
C# 利用数据对象修改数据,就是简单的修改数据库中的数据,利用数据对象来修改。运行效果如视图所示。本示例代码 中定义了向个C#操作数据库的方法,比如:从数据库中获取指定数据记录、在窗体中显示指定数据记录等。
- 2023-05-31 11:00:03下载
- 积分:1
-
c#web代理服务器源码
c#web代理服务器源码,可以实现 http socks5 ftp等代理。
- 2023-03-30 06:10:04下载
- 积分:1
-
C# 发送邮件简单版 附代码
C# 发送邮件简单版 附代码,将string型转换为Base64,发送消息至服务器,本程序成功发送邮件,需要设置smtp服务器、指定发送端口、指定发件人、收件人、邮件主题、内容、发件人密码等信息。
- 2022-07-17 21:27:55下载
- 积分:1
-
C# 获取本地打印服务器后台文件的路径
Visual C# MyWinWPF.rar,核心代码分享如下:
private void button1_Click(object sender, RoutedEventArgs e)
{//获取本地打印服务器后台文件的路径
var MyPrintServer = new System.Printing.LocalPrintServer();
string MyInfo = "本地打印服务器后台文件的路径是:" + MyPrintServer.DefaultSpoolDirectory;
MessageBox.Show(MyInfo, "信息提示", MessageBoxButton.OK);
}
- 2022-01-23 11:13:33下载
- 积分:1