登录
首页 » java,html » web爬虫工具,抓取网页

web爬虫工具,抓取网页

于 2022-03-19 发布 文件大小:3.59 MB
0 185
下载积分: 2 下载次数: 1

代码说明:

基于webcollector-2.12 开发,web爬虫工具,抓取网页,使用方便快捷。 WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核),它提供精简的的API,只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本,支持分布式爬取。 WebCollector致力于维护一个稳定、可扩的爬虫内核,便于开发者进行灵活的二次开发。内核具有很强的扩展性,用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup,可进行精准的网页解析。2.x版本中集成了selenium,可以处理javascript生成的数据。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • 学生信息档案管理系统源代码
    一、源码描述     这是一款有关学生信息管理系统的源码,该系统是一个集成多功能的信息管理系统,有教师资料管理、学生管理、班级管理、专业管理、课程管理、成绩管理和院系管理功能模块。可以作为毕业设计或者课程设计使用以及学习交流使用,感兴趣的同学们可以下载哦。 二、功能介绍     1、教师管理:教师资料管理、教师资料添加。     2、学生管理:学生资料添加、学生资料管理、学生所在院系资料、学生所在专业资料。     3、课程管理:课程资料管理、课程资料添加、课程类别资料。     4、成绩管理:学生成绩查询、学生成绩录入。     5、班级管理:班级资料管理、班级资料添加。 三、源码特色     1、充分利用了Asp.net2.0中的GridView、Datalist、SiteMap等控件,利用了存储过程 。     2、用户实现了超级管理员和普通用户的分级管理 。  四、注意事项     1、后台超级管理员是:admin 用户名密码是admin888     2、开发环境为Visual Studio 2010,数据库为SQL Server 2008,数据库文件在DB文件夹中,使用.net 2.0开发。     3、默认数据库连接字符串在webconfig配置文件中修改。     4、该源码需要在ie兼容视图模式下运行。 作者:Lolo
    2023-06-01 10:35:03下载
    积分:1
  • 动态网站
    1.创建WEB工程  怎样使用Myeclipse创建Web Project  Web工程目录结构  怎样删除一个Web工程 2.用户列表,创建实体类,User  User有哪些属性? Id, username realname password age gender email  包的命名规范、类的命名规范 com.公司名.模块名.pojo.类名  实体类属性的创建规范 Private setter getter  实体类属性的数据类型 Int > Integer 3. 用户列表,创建表结构,用户表  如何创建数据库 Navicat 右键链接名 > 新建数据库 > 输入数据库名、字符集名(UTF8)  如何创建用户表 右键“表” > 创建字段  用户表有哪些字段,以及每个字段的类型 字段对应实体类即可  主键设置方式 非空、主键(小钥匙)、选中自动递增(int bigint)  如何增加字段,修改字段 设计表 > 点击“添加栏位”或“修改栏位”  如何查看表数据  如何创建查询索引,唯一性索引 查询索引:提高(字段)查询效率 类型是Normal 唯一性索引:字段的值不能重复,类型:unique 4. 用户列表,创建数据库访问层,JDBC > Mysql  知道管理系统的主流架构 用户浏览器JSP > Servlet > Service > Dao  数据库访问层的作用 操作数据库,主要的操作:增删改查(CURD)  所在包的命名规范,类的命名规范 ..dao,UserDao  Web工程如何加载类库 复制粘贴,WebROOT > WEB-INF > lib  JDBC访问数据库的步骤  SQL查询语句语法 Select * from t_user where ..[and/or]  JDBC代码优化方法,抽取JdbcUtil工具类 加载驱动 > 静态代码块 获取链接 > getConn() 释放资源 > free()  封装数据库记录 Jdbc数据 封装成 User对象,最后再组装成List对象 5. 用户列表,创建业务层,Service层
    2023-03-17 16:10:04下载
    积分:1
  • H5单机斗地主带AI
    H5单机斗地主带AI,页面比较一般,但功能齐全
    2023-04-23 02:20:04下载
    积分:1
  • 疯狂java光盘代码
    疯狂java光盘代码第一章,疯狂java是一本很好的学习java的书本,对于初学者来说通俗易懂,网上很多只有pdf,这里是光盘代码的第一章的全部
    2022-03-20 03:21:09下载
    积分:1
  • JSP大学生就业信息管理系统
    这是一个高校学生信息管理系统,含有论文。适合做毕业设计
    2022-03-30 07:57:43下载
    积分:1
  • 图书管理系统
    图书管理系统采用myeclipse,mysql 内有不足,
    2022-05-23 21:06:21下载
    积分:1
  • Hibernate+Spring+Spring MVC+Bootstrap的管理系统源码
    一款整合了Hibernate+Spring+Spring MVC+Bootstrap,前端和后端还有数据库的开源管理项目,方便大家学习熟悉Java框架
    2023-07-26 12:05:23下载
    积分:1
  • 简易学生管理系统(源码)
    本项目主要实现的是学生信息的管理以及学生成绩的管理
    2022-03-03 06:31:54下载
    积分:1
  • 3d画廊HTML5
    3d画廊HTML5,HTML,javascript,java,实现3d画廊HTML5
    2022-05-16 02:57:52下载
    积分:1
  • 日记本系统
    对学生班级信息的管理和班级的管理,对学生的各类操作,是一个简单的系统。大家有需要的可以下载看看,挺不错的哦。有什么介意可以找我
    2023-03-13 01:55:04下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载