应用办公生活信息教育商业
投稿投诉
商业财经
汽车智能
教育国际
房产环球
信息数码
热点科技
生活手机
晨报新闻
办公软件
科学动态
应用生物
体育时事

爬虫的异步实现aiohttp库学习

  在协程基础学习(python协程基础学习)中,我们学习到requests。get()也会使程序处入阻塞状态,从而无法实现异步。因此需要引入提供异步Web服务的aiohttp库。
  由此异步中的网页请求与同步操作中的网页请求requests。get()的python写法不一样,下面通过下述例子带领大家学习aiohttp库的使用以及爬虫的异步实现。importasyncioimportaiohttpasyncdefdownload(url,name):asyncwithaiohttp。ClientSession()assession:asyncwithsession。get(url)asresp:withopen(name,modew,encodingutf8)asf:f。write(awaitresp。text())asyncdefmain():urls〔http:www。baidu。com,http:www。bilibili。com,http:www。163。com〕names〔baidu,bilibili,163〕tasks〔〕forindexinrange(len(urls)):tasks。append(asyncio。createtask(download(urls〔index〕,names〔index〕)))awaitasyncio。wait(tasks)ifnamemain:asyncio。run(main())会报错loopasyncio。neweventloop()asyncio。seteventloop(loop)loop。rununtilcomplete(main())
  其中需要注意的在于:
  1。aiohttp。ClientSession()的作用等同于同步中的requests
  2。session。get(url)很好理解就是requests。get()
  3。awaitresp。text()的作用等同于同步中的resp。text。此外异步中resp。content。read()就等同于resp。content
  4。asyncio。run(main())运行会报错(见下图),解决方法见代码。
  代码运行结果如下:
  头条创作挑战赛

科学家发现有史以来最大细菌肉眼可见,跟苍蝇一样长生物学家发现了有史以来最大的细菌,并且可以用肉眼就能看到。研究人员发现这种细菌生活在加勒比海的红树林中。它的类线状体的一个细胞可以长到2厘米。这大概跟一颗花生一样长,是我们迄今……教你用ECharts轻松做一个FlappyBird小游戏本文分享自华为云社区《没想到吧!这个可可爱爱的游戏居然是用ECharts实现的!云社区华为云》,作者:DevUI。前言echarts是一个很强大的图表库,除了我们常见的图……为什么现在几乎不提臭氧层空洞了,是误解还是地球臭氧已修复?还记得在二十世纪末至二十一世纪初的那段时间,我们经常谈及地球即将面临的两个巨大环境问题:一个是地球的温室效应,另一个就是地球的臭氧层空洞。其中温室效应自始至终受到了人类重……旅行,如何改变了我的摄影观2022新年伊始,与一群徕卡影友网上侃摄影,翻出自己在不同年代用LeicaMELeicaQ拍摄的照片,发现自己在旅行摄影中的变化也是挺大的。在新年第一天,看着老照片说出旅拍的故……普洱茶都康乐思茅满城春色藏不住黄花风铃木迎春盛开黄花风铃木芬芳三月春光无限又见花开思茅城区黄花风铃木绚烂盛放抬头望枝头一簇簇黄花犹如金色绣球微风拂来黄花风铃木随风起……白头发越来越多,是开始衰老了?没那么简单,可能是缺营养了爱美之心人皆有之,无论什么时候都要保持良好的习惯来延缓衰老,才能比同龄人显得年轻,而年轻的人身体相对健康,不容易老化速度加快让脸部的皱纹,色斑越来越多。有部分人没有正确保……美丽的山水小城二在清澈宽广的河面上,停着几艘破败的小船,船桨依然依偎在小船的船舷上,见证着这个小县的变迁,诉说着时代发展落下的落寞。沈从文先生的小说《边城》,把一个川湘交界的湘西小镇,带……缎面的服装看着就是高贵,华谊老板娘穿上之后,更显气质提到贵气感十足的服装款式,你会想到哪一款衣服?是精致大气的白色长裙,还是优雅高级的商务风小香风服装,其实缎面的服装所能够呈现出来的高贵感不输这些经典的高级服装。光靠面料所……妈妈,为什么我不能玩手机?这位母亲的回答堪称人生教科书我为什么不让你玩手机,这位妈妈的回答堪称人生教科书不少家长都担心孩子玩手机会影响学习事实上,孩子玩不玩手机,关键还是在于你的做法题记那天和几个同学聚会,……安徽开在荒野的农家菜馆,十几口柴锅并排操作,人气爆棚日卖3万城市里的美食固然多,但有一些意想不到的美食往往出现在一些农村里,它藏匿在一些名不见经传的小村庄,今天介绍的这一家饭店就开在荒郊野岭的村庄里,可谓是麻雀虽小武藏俱全,到底是什么样……熊黛林模特出身如今42岁,穿运动吊带背心身材哇塞,178高2特别欣赏既高挑身材又好的,还有颜值的女人!总觉得由内而外散发着迷人的魅力!熊黛林,1980年出生,如今已经42岁了!但是身材一直那么出众,身穿运动吊带背心呈现出纤细的腰身……前国脚徐亮声援巩汉林,称国足已经烂到根上,部分球员只想着搞钱3月20日,前国脚徐亮在直播间声援巩汉林,认为对方批评是正确的,至少敢将真相说出,这是很有勇气的。同时,他还表示国足应该挨骂,因为已经烂到根上了,如果还这样继续下去的话,国足完……
去俄罗斯后才明白人民币有多强,驴友直言10000元玩到不想走引言:随着我国经济实力的不断增强,随着人们的生活水平不断提升,如今越来越多的人们开始走出国门,前往世界各地去旅游。以往对于普通人而言,出国是一件十分值得吹嘘的……国民妈妈张小婓,从无人问津到金鸡奖影后,她经历了什么?第34届中国电影金鸡奖的影帝影后都姓张,众望所归。其中,国民妈妈张小斐凭借着《你好李焕英》一举夺得金鸡奖影后称号,对于张小斐而言,这个奖实至名归,也是她追梦路上的第一个高……为什么你扎马尾软塌还显老?学时尚博主用这3个方法,太实用虽然很多女生都喜欢追求黑长直的温柔和优雅,但是这种发型并不适合所有人,披头散发这种还是需要挑脸型的,有些人还是适合把头发扎起来的,例如你是长形脸,或者是圆脸的话,扎个马尾可能会……李九直播间破防就算不干了,也不能容忍假赛控分,要斗到底这次的KPL总决赛,李九并未被邀请到解说台,这应该也是他首次缺席KPL总决赛的解说。对于李九未能入选,很多粉丝还是比较遗憾的,大家习惯了李九慷慨激昂的讲解比赛,尤其是冠军诞生之……讲真,初秋还是穿风衣配直筒裤最时髦显瘦,学会这样搭保准美一年四季里,最受大家喜欢的季节非秋季莫属,褪去了夏日的炎热带来了丝丝清凉,套上一件轻薄的外套不闷热又保暖。而且秋天的可穿搭性也很强,各种单品都可以组合在一起。孔孝真的秋冬……挣扎求生的华为VS如日中天的苹果,同期发布,如此对决还有悬念(华为VS苹果)文馆长Zero最近一段时间,在数码领域、尤其是手机这一块,苹果和华为可以说是热搜榜的两大主角了,你方唱罢我登场,你用挖孔屏,我用刘海屏;你搞4800……12家医疗器械生产企业停产整改!涉新三板公司普东医疗中新经纬8月11日电广东省药监局11日发布关于医疗器械飞行检查情况的通告,12家医疗器械生产企业质量管理体系存在严重缺陷。广东省药监局要求相关12家生产企业立即主动停止生产活动……关于黑科技空调五恒系统你了解多少?首先我从舒服度方面给你介绍一下:目前空调行业的产品,最传统的是空调,空调用的氟利昂只起到制冷或制热,需要在室内装机器来吹风,这样的效果是有噪音,吹风感强,4度的出风温度夏……性能之下,轻薄当道motoS30Pro体验随着用户需求的不断增强,手机的性能也在持续提升,与此同时,在轻薄与性能之间如何实现最佳平衡,成为手机厂商的新一轮着力点。8月11日,motoS30Pro正式发布,这一定位……国乒又输了!苦战5局不敌韩国劲敌,3大项目全军覆没无缘冠军北京时间6月26日晚,乒乓球WTT斯洛文尼亚赛双打项目的对决全部结束,中国队在遭遇了女双全军覆没、混双大获全胜夺冠之后,男双向鹏林诗栋杀入决赛,与韩国劲敌张禹珍赵大成展开对决。……无人机反射率标定板19日,在2022世界机器人大会第二届中国无人机产业发展与产教融合论坛上,中关村延庆园服务中心副主任刘志瑛介绍,针对无人机企业最关注的空域服务,八达岭机场的374平方公里空域免……被酒精害惨的5位男明星,个个出尽了洋相,有人退圈有人离世在娱乐圈中想要长远发展,必须步步谨慎,时刻保持清醒。然而,部分明星却被舞台上的鲜花和掌声迷住了双眼,私下放飞自我,最终酿成大祸。而今天我们要说的这5位男明星,都曾享受一线……
友情链接:易事利快生活快传网聚热点七猫云快好知快百科中准网快好找文好找中准网快软网