本文实例为大家分享了python使用tornado实现简单爬虫的具体代码,供大家参考,具体内容如下
代码在官方文档的示例代码中有,但是作为一个tornado新手来说阅读起来还是有点困难的,于是我在代码中添加了注释,方便理解,代码如下:
# coding=utf-8 #!/usr/bin/env python import time from datetime import timedelta try: from HTMLParser import HTMLParser from urlparse import urljoin, urldefrag except ImportError: from html.parser import HTMLParser from urllib.parse import urljoin, urldefrag from tornado import httpclient, gen, ioloop, queues # 设置要爬取的网址 base_url = 'http://www.baidu.com' # 设置worker数量 concurrency = 10 # 此代码会获取base_url下的所有其他url @gen.coroutine def get_links_from_url(url): try: # 通过异步向url发起请求 response = yield httpclient.AsyncHTTPClient().fetch(url) print('fetched %s' % url) # 响应如果是字节类型 进行解码 html = response.body if isinstance(response.body, str) else response.body.decode(errors='ignore') # 构建url列表 urls = [urljoin(url, remove_fragment(new_url)) for new_url in get_links(html)] except Exception as e: print('Exception: %s %s' % (e, url)) # 报错返回空列表 raise gen.Return([]) # 返回url列表 raise gen.Return(urls) def remove_fragment(url): #去除锚点 pure_url, frag = urldefrag(url) return pure_url def get_links(html): #从html页面里提取url class URLSeeker(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.urls = [] def handle_starttag(self, tag, attrs): href = dict(attrs).get('href') if href and tag == 'a': self.urls.append(href) url_seeker = URLSeeker() url_seeker.feed(html) return url_seeker.urls @gen.coroutine def main(): # 创建队列 q = queues.Queue() # 记录开始时间戳 start = time.time() # 构建两个集合 fetching, fetched = set(), set() @gen.coroutine def fetch_url(): # 从队列中取出数据 current_url = yield q.get() try: # 如果取出的数据在队列中已经存在 返回 if current_url in fetching: return print('fetching %s' % current_url) # 如果不存在添加到集合当中 fetching.add(current_url) # 从新放入的链接中继续获取链接 urls = yield get_links_from_url(current_url) # 将已经请求玩的url放入第二个集合 fetched.add(current_url) for new_url in urls: # Only follow links beneath the base URL # 如果链接是以传入的url开始则放入队列 if new_url.startswith(base_url): yield q.put(new_url) finally: # 队列内数据减一 q.task_done() @gen.coroutine def worker(): while True: # 保证程序持续运行 yield fetch_url() # 将第一个url放入队列 q.put(base_url) # Start workers, then wait for the work queue to be empty. for _ in range(concurrency): # 启动对应数量的worker worker() # 等待队列数据处理完成 yield q.join(timeout=timedelta(seconds=300)) # 如果两个集合不相等抛出异常 assert fetching == fetched # 打印执行时间 print('Done in %d seconds, fetched %s URLs.' % ( time.time() - start, len(fetched))) if __name__ == '__main__': io_loop = ioloop.IOLoop.current() io_loop.run_sync(main)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
风云阁资源网 Design By www.bgabc.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
风云阁资源网 Design By www.bgabc.com
暂无评论...
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
2024年09月22日
2024年09月22日
- 魔兽世界地心之战酒仙武僧用什么饰品 地心之战酒仙武僧饰品推荐
- 王菲.2001-《菲经典DSD》引进版[WAV+CUE]
- 【雨果唱版】民歌对唱《红英与唐彪LPCD45》2007[WAV+CUE]
- 谷村新司-精选集立体声杂志Vol.4SACDISO
- 《崩坏3》八周年了!琪亚娜等角色送上美好祝福
- 《小朋友齐打交》真人电影预告公开 预计明年推出
- 《萨顶顶-华人首位获格莱美奖提名 怜香伴》[WAV/分轨][420MB]
- 《极致真发烧·HIFI过耳不忘 3CD》[WAV/分轨][1.8GB]
- 《流行HIFI摇滚音乐 摇滚在发烧 2CD》[WAV/分轨][1.3GB]
- 没有才能.2024-我终于也变成人了【华研国际】【FLAC分轨】
- 张国荣.1995-宠爱(2014年K2HD限量版)【滚石】【WAV+CUE】
- 林姗.2009-个人精选集【芮河】【WAV+CUE】
- 魔兽世界地心之战织雾武僧用什么饰品 地心之战织雾武僧饰品推荐
- 瑞鸣《喜马拉雅》[WAV+CUE]
- 【古典音乐】郑京和《华纳录音全集》11CD.2015[FLAC+CUE]