登录
首页 » Python » SinaSpider-master

SinaSpider-master

于 2016-12-23 发布 文件大小:41KB
0 211
下载积分: 1 下载次数: 5

代码说明:

  使用master-slave模式的分布式新浪微博爬虫,采用纯python代码编写。(This spider system is programmed by pure Python code and works as Master-Slave schema.)

文件列表:

SinaSpider-master
.................\.gitignore,15,2016-03-07
.................\AddAccounts.py,799,2016-03-07
.................\APISpider.py,2678,2016-03-07

.................\CommercialAPISpider.py,253,2016-03-07
.................\CompleteCrawl.py,3506,2016-03-07
.................\Config.py,683,2016-03-07
.................\CrawlTimelineByAPI.py,145,2016-03-07
.................\Dao.py,4675,2016-03-07
.................\Log
.................\...\log.txt,13963,2016-03-07
.................\Log.py,196,2016-03-07
.................\Parser.py,95723,2016-03-07
.................\README.md,2943,2016-03-07
.................\sina_weibo_table_structures.sql,7698,2016-03-07
.................\Spider.py,29484,2016-03-07
.................\Test.py,851,2016-03-07
.................\Utility.py,1606,2016-03-07
.................\Weibo.py,6574,2016-03-07

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • WiFiDirectDemo
    wifi-direct的实例源码,实现了基本的搜索、连接等功能。(the example source code of wifi-direct, to achieve a basic search, connection and other functions.)
    2015-05-03 09:25:51下载
    积分:1
  • 1905
    很好的搜索: 给你很多长度不定的木棒,将他们分成几组,每组中的总长度作为这组的标示值,请给出一种分组方法,能使得所有标示值中的最小值最大。 Input 多组,每组两行,第一行是一个N和K,代表有N根木棒,分成K组,第二行是N个数字,代表木棒的长度。(N不超过100,K不超过20,每根木棒长度不超过1000) Output 输出所有标示值中的最小值的最大值。 Sample Input 5 3 1 3 5 7 9 5 3 89 59 68 35 29 Sample Output 8 89(err)
    2007-12-28 16:47:08下载
    积分:1
  • address_book
    让一个地址簿,包括ID、名称、 电话号码、地址和公司。 可以插入、显示、搜索和删除。(make an address book,include ID,Name, Phone number,Address and company number. can Insert,Display,Search and Delete.)
    2012-12-31 22:49:58下载
    积分:1
  • PageRank2
    python写的一个pagerank计算的程序,需要用到python处理数组矩阵的模块numpy,pagerank算法在google搜索引擎网页重要程度排序中用到(python write a pagerank calculation procedures, the need to use python modules deal with the array matrix numpy, pagerank algorithm in google search engine ranking the importance of web pages used in)
    2007-10-31 00:42:29下载
    积分:1
  • HL-Python-Reptile
    说明:  用于获取页面信息以及获取页面图片,并下载保存到本地(Used to obtain page information and pictures, and download and save them locally)
    2020-01-20 15:20:59下载
    积分:1
  • Practice1
    网络爬虫抓取页面的链接,利用递归可以从该链接到达的页面继续获取链接(Web crawler recursively crawls pages link)
    2012-12-28 17:29:09下载
    积分:1
  • Experiment8
    书本搜索 可以根据关键字搜索客户需要的书(find books)
    2013-12-02 16:33:08下载
    积分:1
  • py测试程序
    说明:  适用于新手练习的简单爬虫代码,运行此代码将自动从网站上下载一张图片到桌面上(Simple crawler code for novices)
    2019-11-14 21:49:36下载
    积分:1
  • PermissiveResearch-master
    实现一个本地搜索引擎(作者语:search engine),允许容错搜索,也就是搜索结果不需要和搜索的关键字完全精准匹配。比如,搜索”eric wang“,搜索结果可以包括Erica Watts等等。搜索效率十分高,并且支持CoreData数据搜索。可以很方便修改搜索算法或者替换成自定义的搜索算法。
    2013-12-09 13:58:16下载
    积分:1
  • auto_spyder4jiandan
    通过python爬虫抓取煎蛋网妹子图中多个页面的图片并保存到本地。(Through the python spiders crawling Fried egg nets sister figure multiple pages of pictures and saved to the local.)
    2016-06-01 10:56:16下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载