web爬虫工具，抓取网页
于 2022-03-19 发布
文件大小:3.59 MB
0 173
下载积分: 2
下载次数: 1
代码说明：
基于webcollector-2.12 开发，web爬虫工具，抓取网页，使用方便快捷。 WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。 WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup，可进行精准的网页解析。2.x版本中集成了selenium，可以处理javascript生成的数据。
下载说明：请别用迅雷下载，失败请重下，重下不扣分！
发表评论
