登录
首页 » Python » SinaSpider-master

SinaSpider-master

于 2016-12-23 发布 文件大小:41KB
0 213
下载积分: 1 下载次数: 5

代码说明:

  使用master-slave模式的分布式新浪微博爬虫,采用纯python代码编写。(This spider system is programmed by pure Python code and works as Master-Slave schema.)

文件列表:

SinaSpider-master
.................\.gitignore,15,2016-03-07
.................\AddAccounts.py,799,2016-03-07
.................\APISpider.py,2678,2016-03-07

.................\CommercialAPISpider.py,253,2016-03-07
.................\CompleteCrawl.py,3506,2016-03-07
.................\Config.py,683,2016-03-07
.................\CrawlTimelineByAPI.py,145,2016-03-07
.................\Dao.py,4675,2016-03-07
.................\Log
.................\...\log.txt,13963,2016-03-07
.................\Log.py,196,2016-03-07
.................\Parser.py,95723,2016-03-07
.................\README.md,2943,2016-03-07
.................\sina_weibo_table_structures.sql,7698,2016-03-07
.................\Spider.py,29484,2016-03-07
.................\Test.py,851,2016-03-07
.................\Utility.py,1606,2016-03-07
.................\Weibo.py,6574,2016-03-07

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • yahoo-pang
    这个是一个雅虎搜索的爬虫,首先你在雅虎搜索上输入你要搜素的东西,然后程序可以自动爬取下来。默认爬取20页,你也可以修改(This is a Yahoo! search of reptiles, first you enter the search elements you want to search something on Yahoo, then the program can automatically crawl down. The default crawling 20, you can also modify)
    2016-11-08 11:08:47下载
    积分:1
  • searchView
    基于路岑呢的搜索功能,可以检索并建立索引等等(Search function based on Lucen, can search and build index, etc.)
    2020-06-23 02:40:01下载
    积分:1
  • PermissiveResearch-master
    实现一个本地搜索引擎(作者语:search engine),允许容错搜索,也就是搜索结果不需要和搜索的关键字完全精准匹配。比如,搜索”eric wang“,搜索结果可以包括Erica Watts等等。搜索效率十分高,并且支持CoreData数据搜索。可以很方便修改搜索算法或者替换成自定义的搜索算法。
    2013-12-09 13:58:16下载
    积分:1
  • DBSCAN算法python代码
    DBSCAN算法的重点是选取的聚合半径参数和聚合所需指定的MinPts数目。  在此使用球面距离来衡量地理位置的距离,来作为聚合的半径参数。  如下实验,选取2公里作为密度聚合的半径参数,MinPts个数为5.
    2022-12-14 05:15:03下载
    积分:1
  • 时间就开了多久我就打开了
    啊打发时间看拉萨打开链接阿拉山口大家卡死了大家快来江东父老ask两地分居阿里山;到家了;啊时代科技啦士大夫金龙卡啊时代科技
    2022-05-20 19:18:13下载
    积分:1
  • findJar
    根据class文件名搜索对应所属的*.jar(According to the file name search for the corresponding class belongs* .jar)
    2016-12-23 10:27:42下载
    积分:1
  • 非合作模式下动态下浮比例连续批次投标报价模型_冯卫兵
    非合作模式下动态下浮比例连续批次投标报价模型_冯卫兵 国家电网在2013年-2014年采用的是综合评标法进行招标。该评标办法中,技术、价格、商务占的比例分别为30%、60%、10%,以总分100分计。假定各厂家在技术、商务方面实力基本相当,因此此问题中各厂家只需考虑通过合理的报价提高价格得分,只要价格得分第一就认为中标。各投标厂家具体得分大小采用区间平均下浮双边曲线算法
    2022-02-10 05:18:13下载
    积分:1
  • jas代码
    深入了解js代码,有利于开发和利用。
    2022-07-11 15:07:11下载
    积分:1
  • Crawler4OtherTransit
    爬虫,简单语句,爬虫快速 支持单线程操作,容易改正,并有注释(Reptiles, simple statement, reptiles fast support single-threaded operation, easy to correct, and Notes)
    2012-09-24 10:46:49下载
    积分:1
  • 基于用户的协同过滤推荐算法研究
    实际投标中,由于竞争对手的投标策略是随着市场环境及自身条件的变化而变化的,因此就是对同一个包(货物类型以及对应数量完全相同),同一厂家在不同批次中的报价也可能是不同的。还需要注意价格下浮比例(或称下浮系数)以及减分速率指数对报价也会产生一定的影响
    2022-03-02 05:48:23下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载