-
C# 网络爬虫
测试了下:抓取单页没事,批量抓取暂时没发现在哪里。。。 网络爬虫程序源码这是一款用 C# 编写的网络爬虫主要特性有: 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性:新特性 介绍 爬取文件用Berkeley DB存储 提高性能: 常用操作系统不善于处理大量小文件 基于URL Ranking的优先级队列 主题爬虫: 机器学习算法对链接与主题相关度进行评估,并按照得出的优先级顺序进行爬取 爬虫礼仪 遵循爬虫禁止协议、以及避免对服务器资源的过度使用等 性能优化 用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力(CPU、内存和硬盘访问)
- 2015-09-14下载
- 积分:1
-
C# USB HID示例
该代码提供简单的获取HID设备,并选择相对应的HID设备进行连接,并接收和输入数据的一个简单案例。适合于对USB HID设备刚入门的学习。其中部分代码参考网友。
- 2019-08-19下载
- 积分:1
-
猴子选大王示例代码
猴子选大王示例代码
- 2015-01-23下载
- 积分:1
-
C# 扫描本地电脑指定类型的文件
C# 扫描本地电脑指定类型的文件
- 2015-09-19下载
- 积分:1
-
C# 下载图片示例
using System;using System.Web;public class DownImg : IHttpHandler { //图片下载功能 public void ProcessRequest(HttpContext context) { System.Net.WebResponse response = null; System.IO.Stream stream = null; string path = context.Request.Url.Query.Split(new string[] { "coverimg=" }, StringSplitOptions.RemoveEmptyEntries)[1]; System.Net.HttpWebRequest request = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(path); response = request.GetResponse(); stream = response.GetResponseStream(); System.IO.MemoryStream memStream = Txooo.Mobile.HttpTools.CloneStream(stream); byte[] bytes = new byte[memStream.Length]; memStream.Read(bytes, 0, bytes.Length); // 设置当前流的位置为流的开始 memStream.Seek(0, System.IO.SeekOrigin.Begin); context.Response.ContentType = "application/octet-stream"; //通知浏览器下载文件而不是打开 string fileName = DateTime.Now.Ticks.ToString() ".jpg"; context.Response.AddHeader("Content-Disposition", "attachment; filename=" fileName); context.Response.BinaryWrite(bytes); context.Response.Flush(); } public bool IsReusable { get { return false; } }}
- 2014-05-29下载
- 积分:1
-
log4net 在winform中记录全局错误例子
log4net 在winform中记录全局错误例子
- 2015-06-10下载
- 积分:1
-
WCF/Socket文件传输 实例源码下载
WCF/Socket文件传输 实例源码下载
- 2016-01-07下载
- 积分:1
-
冒泡排序法(c++入门级示例)
冒泡排序法(c++入门级示例)
- 2019-12-01下载
- 积分:1
-
Linux下的Socket通信
Linux下的Socket通信,实现了文件列表的显示、文件传输等基本功能
- 2013-08-10下载
- 积分:1
-
winform 文件拖拽完整例子源码
在WinForm实现一个类似资源浏览器的功能,需要实现将WinForm中列出的文件拖出到其他应用程序中或者从其他应用程序中将文件拖入到Winform应用中。网上有一些文章介绍这种功能,但都比较零散,缺少一个完整的例子。为此我编写了一个较完整的实现文件拖入和拖出的例子,并撰写此文一步步讲解如果实现类似功能。
- 2013-07-19下载
- 积分:1