python并发库_python 使用第三方库tomorrow实现并发

落日映苍穹つ 2022-11-05 10:53 79阅读 0赞

import time

from requests\_html import HTMLSession

from fake\_useragent import UserAgent as ua

from tomorrow import threads

headers = \{"User-Agent": ua().Chrome\}

session = HTMLSession()

url\_list = \["https://movie.douban.com",

"http://www.1905.com/",

"http://www.mtime.com/",

"https://www.dy2018.com/",

"http://dytt8.net",

"https://www.piaohua.com/",

"http://maoyan.com",

"https://www.xigua110.com/",

"https://www.vmovier.com/",

"http://movie.kankan.com/",

"https://107cine.com/",

"http://movie.youku.com",

"http://film.qq.com","https://dianying.taobao.com/",

"http://www.wandafilm.com/",

"http://www.dygang.net/","http://dianying.2345.com/",

\]

def get\_req(url, timeout=10):

req = session.get(url, headers=headers, timeout=timeout)

if req.status\_code == 200:

return req

@threads(5)

def async\_get\_req(url, timeout=10):

req = session.get(url, headers=headers, timeout=timeout)

if req.status\_code == 200:

return req

def get\_xpath(req, xpath\_str):

return req.html.xpath(xpath\_str)\[0\].strip().replace("\\n", "")

start=time.time()

for i in url\_list:

print(get\_xpath(get\_req(i),"//title//text()"))

end=time.time()

print("普通方式花费时间",end-start)

start2 = time.time()

req\_list = \[\]

for url in url\_list:

req = async\_get\_req(url)

req\_list.append(req)

for req in req\_list:

print(get\_xpath(req, "//title//text()"))

end2 = time.time()

print("并发后花费时间", end2 - start2)

发表评论取消回复

表情：

评论列表（有 0 条评论，79人围观）

还没有评论，来说两句吧...

相关阅读

相关 python 第三方库

requests 模块具体详见：[https://requests.kennethreitz.org//zh\_CN/latest/user/quickstart.html

朴灿烈づ我的快乐病毒、/ 2023年06月12日 09:43/ 0 赞/ 178 阅读

相关【Python】Python第三方库安装

![format_png][] [https://pypi.org/][https_pypi.org] ![format_png 1][] ![format_png 2]

Myth丶恋晨/ 2023年03月13日 03:56/ 0 赞/ 48 阅读

相关 Python中第三方库-Faker

项目开发初期，为了测试方便，我们总要造不少假数据到系统中，尽量模拟真实环境。比如要创建一批用户名，创建一段文本，电话号码，街道地址、IP地址等等。平时我们基本是键盘一顿

短命女/ 2022年12月08日 05:05/ 0 赞/ 333 阅读

相关 python并发库_python 使用第三方库tomorrow实现并发

import time from requests\_html import HTMLSession from fake\_useragent import UserAge

落日映苍穹つ/ 2022年11月05日 10:53/ 0 赞/ 80 阅读

相关 Python第三方库

文章目录第三方库 time库 random库 Pyinstaller库 jieba库 word

雨点打透心脏的1/2处/ 2022年09月11日 03:15/ 0 赞/ 1005 阅读

相关 python安装第三方库

1.cmd下使用pip install “第三方库名” 2.使用easy\_install（但是不推荐，删除的时候很麻烦） 3.下载第三方库，把后缀whl改成zip，解压后

太过爱你忘了你带给我的痛/ 2022年08月20日 04:25/ 0 赞/ 496 阅读

相关 python第三方库下载

python第三方库文件下载地址：[https://www.lfd.uci.edu/~gohlke/pythonlibs/\pyhook][https_www.lfd.uci.

素颜马尾好姑娘i/ 2022年05月17日 11:29/ 0 赞/ 757 阅读

相关 python 第三方库网站

[https://www.lfd.uci.edu/~gohlke/pythonlibs/][https_www.lfd.uci.edu_gohlke_pythonlibs]

墨蓝/ 2022年04月25日 04:22/ 0 赞/ 463 阅读

相关 Python使用第三方库之【yaml】

【环境】 Ubuntu 16.04 LTS Python 【正文】 1、入门基础 Python生态中成千上万的第三方库，yaml就是其中之一。 1.

ゝ一纸荒年。/ 2022年04月01日 11:27/ 0 赞/ 439 阅读

相关 python 库第三方模块

\）Anaconda 是一个开源的Python 发行版本，包含了很多常用的库 \）CSV 　　参考链接：[https://www.cnblogs.com/nisen/p/6

我会带着你远行/ 2021年10月15日 15:29/ 0 赞/ 651 阅读