登录
首页 » C# » 网络爬虫源代码

网络爬虫源代码

于 2022-03-22 发布 文件大小:780.31 kB
0 119
下载积分: 2 下载次数: 1

代码说明:

主要特性有: 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • pid控制直流电机
    通过pid控制实现直流电机转速控制,此系统是一个闭环系统
    2022-11-09 06:20:03下载
    积分:1
  • SARchengxiang
    SAR成像很好的学习资料,希望大家喜欢。(The SAR imaging learning materials, hope you like)
    2012-08-24 18:14:58下载
    积分:1
  • baoshu
    报数问题。n个人围成一圈,1,2,3循环报数,报到3的人退出。到最后只余1人,输出最后留下的是第几号(最初的序号,以1起始)。压缩包内共三种方法。(Reported several problems. n personal circle, 1,2,3 newspaper circulation numbers, to report three people quit. To the final with only one person, the output of the last to leave the first few numbers (the first number, starting with 1). Three methods of compression package.)
    2013-12-18 23:08:53下载
    积分:1
  • 计算机程序设计艺术(第三卷)
    说明:  计算机程序设计艺术(第三卷)。作者对有关领域的科学发展史也有深入研究,因此本书介绍众多研究成果的同时,也对其历史渊源和发展过程做了很好的介绍,这种特色在全球科学著作中是不多见的。(Vol 3: Sorting and Searching)
    2020-06-21 20:20:01下载
    积分:1
  • B04283_02_code
    说明:  使用c++语言、opencv采集相机图像,并且显示在框里。(Using c plus plus language,and the software of opencv ,showing them in the screen.)
    2019-12-19 17:45:46下载
    积分:1
  • opengltest1
    使用VS2008和opengl编写的全景图像拼接程序,可以完成图像拼接的立体显示,可以旋转,缩放,控制键为空格,和上下左右的四个箭头键,以及上下翻页两个键。包括立方体,圆柱面和球面全景图的生成,附有测试图片。 (Written using VS2008 and opengl panoramic image stitching programs you can complete the three-dimensional image mosaic display, you can rotate, zoom, control key for the space, and the four arrow keys up and down, and flip up and down two keys. Including cubic, cylindrical and spherical panorama generation, with a test picture. )
    2011-12-06 17:00:14下载
    积分:1
  • main
    double linked list.vcproj
    2009-12-17 06:45:43下载
    积分:1
  • iwbpn75
    WIN2000及以上版本, MicroSoft提供了一个全新的途径()
    2018-03-20 18:58:42下载
    积分:1
  • 沪市level2行情数据编解码windows库
    1.沪市level2数据解析编码quick-fast接口库 2.编译还需依赖boost库 3.quick-fast的依赖库xercesc(用于解析level2数据依赖的配置文件) 4.支持vc2008
    2022-06-18 17:13:56下载
    积分:1
  • BP_Algorithm
    用VC++实现的BP(反向传播负反馈)神经网络算法(with VC BP (BP negative feedback) neural network algorithm)
    2007-07-03 22:20:18下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载