最新要闻
- 学堂有名堂|30分钟午睡时间,教室里睡不着睡不好怎么办?黄浦区这所小学展开了研究
- 比亚迪高管回怼长城举报:挡别人的路 不会让自己行得更远|天天消息
- 单价6.5亿 国产大飞机快能坐了 东航C919将于近期投入实际运营 当前要闻
- 全球播报:恩怨还没完!暴雪在中国起诉网易雷火公司
- 顶配16999元 联想YOGA Air 32 4K一体机发布:13代i9+RTX 4050 一线连所有
- 1.28kg超轻身材!联想发布YOGA Air 14s 2023轻盈本 天天微资讯
- 全国护肤日(国际爱肤日):关注内外抗衰 远离皮肤疾病
- 最美小米手机!小米Civi 3亮相
- 减肥新方法!研究证实画饼真的能充饥|焦点滚动
- 新一代自拍之王!小米Civi 3前置双主摄:拍照Vlog全面兼顾 天天即时
- 称比亚迪污染物排放不达标 长城举报的是个啥:油箱成争议焦点
- 暖心!国羽苏杯夺冠黄东萍视频连线王懿律,黄鸭组合一同登台领奖
- 当前通讯!你怎么看?统计称上海人能挣钱更能花钱 全国北京人赚的钱最耐花
- 图灵奖得主:人类大脑是生物机器 一定会有超级AI超越它 今日热议
- 焦点消息!《雨血》精神续作!国产黑暗武侠大作《影之刃零》发布首支预告
- 天天关注:黄芪加枸杞大枣泡水喝的功效与作用 枸杞大枣泡水喝的功效与作用
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
它来了!真正的 python 多线程
哈喽大家好,我是咸鱼
几天前,IBM 工程师 Martin Heinz 发文表示 python 3.12 版本回引入"Per-Interpreter GIL”,有了这个 Per-Interpreter 全局解释器锁,python 就能实现真正意义上的并行/并发
【资料图】
我们知道,python 的多线程/进程并不是真正意义上的多线程/进程,这是因为 python GIL (Global Interpreter Lock)导致的
而即将发布的 Python 3.12 中引入了名为 "Per-Interpreter GIL" 的新特性,能够实现真正的并发
接下来我们来看下这篇文章,原文链接如下:
https://martinheinz.dev/blog/97
译文
Python 到现在已经 32 岁了,但它到现在还没有实现适当的、真正的并发/并行
由于将在 Python 3.12 (预计 2023 年 10 月发布)中引入 “Per-Interpreter GIL”(全局解释器锁),这种情况将会被改变
虽然距离 python 3.12 的发布还有几个月的时间,但是相关代码已经实现了。所以让我们提前来了解一下如何使用子解释器 API(ub-interpreters API) 来编写出真正的并发Python代码
子解释器(Sub-Interpreters)
我们首先来看下这个 “Per-Interpreter GIL” 是如何解决 Python 缺失适当并发性这个问题的
简单来讲,GIL(全局解释器锁)是一个互斥锁,它只允许一个线程控制 Python 解释器(某个线程想要执行,必须要先拿到 GIL ,在一个 python 解释器里面,GIL 只有一个,拿不到 GIL 的就不允许执行)
这就意味着即使你在 Python 中创建多个线程,也只会有一个线程在运行
随着 “Per-Interpreter GIL” 的引用,单个 python 解释器不再共享同一个 GIL。这种隔离级别允许每个子 python 解释器真正地并发运行
这意味着我们可以通过生成额外的子解释器来绕过 Python 的并发限制,其中每个子解释器都有自己的GIL(拿到一个 GIL 锁)
更详细的说明请参见 PEP 684,该文档描述了此功能/更改:https://peps.python.org/pep-0684/#per-interpreter-state
如何安装
想要使用这个新功能,我们需要安装最新的 python 版本,这需要源码编译安装
# https://devguide.python.org/getting-started/setup-building/#unix-compilinggit clone https://github.com/python/cpython.gitcd cpython./configure --enable-optimizations --prefix=$(pwd)/python-3.12make -s -j2./python# Python 3.12.0a7+ (heads/main:22f3425c3d, May 10 2023, 12:52:07) [GCC 11.3.0] on linux# Type "help", "copyright", "credits" or "license" for more information.
C-API 在哪里
现在我们已经安装好了最新版本,那么我们该如何使用子解释器呢?我们可以直接通过 import
来导入吗?不幸的是,还不能
正如 PEP-684 中指出的: ...this is an advanced feature meant for a narrow set of users of the C-API.
Per-Interpreter GIL 的特性目前只能通过 C-API 使用,还没有直接的接口供开发人员使用
接口预计会在 PEP 554中出现,如果大家能够接受,它应该会在 Python 3.13 中出现,在这个版本出现之前,我们必须自己想办法来实现子解释器
虽然还没有相关文档,也没有相关模块可以导入,但 CPython 代码库中有一些代码段向我们展示了如何使用它:
- 方法一:我们可以使用
_xxsubinterpreters
模块(因为是通过 C 实现的,所以命名比较奇怪,而且在 python 中不能够简单地去检查代码) - 方法二:可以使用 CPython 的 test 模块,该模块具有用于测试的示例 Interpreter(和 Channel)类
# Choose one of these:import _xxsubinterpreters as interpretersfrom test.support import interpreters
通常情况下我们一般用上面的第二种方法来实现
我们已经找到了子解释器,但我们还需要通过 test 模块去借用一些辅助函数,以便将代码传递给子解释器,辅助函数如下
from textwrap import dedentimport os# https://github.com/python/cpython/blob/# 15665d896bae9c3d8b60bd7210ac1b7dc533b093/Lib/test/test__xxsubinterpreters.py#L75def _captured_script(script): r, w = os.pipe() indented = script.replace("\n", "\n ") wrapped = dedent(f""" import contextlib with open({w}, "w", encoding="utf-8") as spipe: with contextlib.redirect_stdout(spipe): {indented} """) return wrapped, open(r, encoding="utf-8")def _run_output(interp, request, channels=None): script, rpipe = _captured_script(request) with rpipe: interp.run(script, channels=channels) return rpipe.read()
将 interpreters
模块与上面的辅助函数组合在一起,便可以生成第一个子解释器:
from test.support import interpretersmain = interpreters.get_main()print(f"Main interpreter ID: {main}")# Main interpreter ID: Interpreter(id=0, isolated=None)interp = interpreters.create()print(f"Sub-interpreter: {interp}")# Sub-interpreter: Interpreter(id=1, isolated=True)# https://github.com/python/cpython/blob/# 15665d896bae9c3d8b60bd7210ac1b7dc533b093/Lib/test/test__xxsubinterpreters.py#L236code = dedent(""" from test.support import interpreters cur = interpreters.get_current() print(cur.id) """)out = _run_output(interp, code)print(f"All Interpreters: {interpreters.list_all()}")# All Interpreters: [Interpreter(id=0, isolated=None), Interpreter(id=1, isolated=None)]print(f"Output: {out}") # Result of "print(cur.id)"# Output: 1
生成和运行新解释器的一种方法是使用 create()
函数,然后将解释器与我们想要执行的代码一起传递给 _run_output()
辅助函数
还有一种更简单的方法,如下所示
interp = interpreters.create()interp.run(code)
直接使用 interpreters
模块的 run
方法。
但如果我们运行上面这两段代码时,会收到以下报错
Fatal Python error: PyInterpreterState_Delete: remaining subinterpretersPython runtime state: finalizing (tstate=0x000055b5926bf398)
为了避免这个报错,我们还需要清理一些悬挂的解释器:
def cleanup_interpreters(): for i in interpreters.list_all(): if i.id == 0: # main continue try: print(f"Cleaning up interpreter: {i}") i.close() except RuntimeError: pass # already destroyedcleanup_interpreters()# Cleaning up interpreter: Interpreter(id=1, isolated=None)# Cleaning up interpreter: Interpreter(id=2, isolated=None)
线程
虽然使用上面的辅助函数运行代码是可行的,但在 threading
模块中使用熟悉的接口可能会更方便
import threadingdef run_in_thread(): t = threading.Thread(target=interpreters.create) print(t) t.start() print(t) t.join() print(t)run_in_thread()run_in_thread()# # # # # #
我们通过把 interpreters.create
函数传递给Thread
,它会自动在线程内部生成新的子解释器
我们也可以结合这两种方法,并将辅助函数传递给 threading.Thread
:
import timedef run_in_thread(): interp = interpreters.create(isolated=True) t = threading.Thread(target=_run_output, args=(interp, dedent(""" import _xxsubinterpreters as _interpreters cur = _interpreters.get_current() import time time.sleep(2) # Can"t print from here, won"t bubble-up to main interpreter assert isinstance(cur, _interpreters.InterpreterID) """))) print(f"Created Thread: {t}") t.start() return tt1 = run_in_thread()print(f"First running Thread: {t1}")t2 = run_in_thread()print(f"Second running Thread: {t2}")time.sleep(4) # Need to sleep to give Threads time to completecleanup_interpreters()
上面的代码中演示了如何使用 _xxsubinterpreters
模块来实现 (方法一)
我们还在每个线程中休眠 2 秒来模拟“工作”状态
请注意,我们甚至不必调用 join() 函数等待线程完成,只需在线程完成时清理解释器即可
Channels
如果我们进一步挖掘 CPython test
模块,我们还会发现 RecvChannel 和 SendChannel 类的实现类似于 Golang 中已知的通道
# https://github.com/python/cpython/blob/# 15665d896bae9c3d8b60bd7210ac1b7dc533b093/Lib/test/test_interpreters.py#L583r, s = interpreters.create_channel()print(f"Channel: {r}, {s}")# Channel: RecvChannel(id=0), SendChannel(id=0)orig = b"spam"s.send_nowait(orig)obj = r.recv()print(f"Received: {obj}")# Received: b"spam"cleanup_interpreters()# Need clean up, otherwise:# free(): invalid pointer# Aborted (core dumped)
上面的例子介绍了如何创建一个接收端通道(r)和发送端通道(s),然后我们使用 send_nowait
方法将数据发送,通过 recv
方法来接收数据
这个通道实际上只是另一个解释器,和以前一样,我们需要在处理完它之后进行清理
Digging Deeper
如果我们想要修改或者调整子解释器的选项(这些选项通常在 C 代码中设置),我们可以使用
test.support
模块中的代码,具体来说是run_in_subinterp_with_config
import test.supportdef run_in_thread(script): test.support.run_in_subinterp_with_config( script, use_main_obmalloc=True, allow_fork=True, allow_exec=True, allow_threads=True, allow_daemon_threads=False, check_multi_interp_extensions=False, own_gil=True, )code = dedent(f""" from test.support import interpreters cur = interpreters.get_current() print(cur) """)run_in_thread(code)# Interpreter(id=7, isolated=None)run_in_thread(code)# Interpreter(id=8, isolated=None)
上面这个run_in_subinterp_with_config
函数是 C 函数的 Python API。它提供了一些子解释器选项,如 own_gil
,指定子解释器是否应该拥有自己的 GIL
关键词:
-
KKRT-PSI
>KKRT库:https: github com osu-crypto BaRK-OPRF>>文章:[EfficientBatchedObliviousPRFwithApplicationstoPrivateSetIntersection-2016](h
来源: 它来了!真正的 python 多线程
KKRT-PSI
环球简讯:创新应用场景下的可视化大屏:重新定义信息展示
今日视点:如何证明Servlet是单例的?
构建高可用云原生应用,如何有效进行流量管理?
天天观天下!【新华500】新华500指数(989001)25日下跌0.22%
学堂有名堂|30分钟午睡时间,教室里睡不着睡不好怎么办?黄浦区这所小学展开了研究
比亚迪高管回怼长城举报:挡别人的路 不会让自己行得更远|天天消息
单价6.5亿 国产大飞机快能坐了 东航C919将于近期投入实际运营 当前要闻
全球播报:恩怨还没完!暴雪在中国起诉网易雷火公司
顶配16999元 联想YOGA Air 32 4K一体机发布:13代i9+RTX 4050 一线连所有
1.28kg超轻身材!联想发布YOGA Air 14s 2023轻盈本 天天微资讯
【PC迁移与管理】上海道宁为每个用户和每个 PC 传输和迁移场景提供解决方案——PCmover_每日热讯
天天热推荐:Pytest - setup 和 teardown
全球即时看!yolov5+deepsort+slowfast复现
全国护肤日(国际爱肤日):关注内外抗衰 远离皮肤疾病
最美小米手机!小米Civi 3亮相
减肥新方法!研究证实画饼真的能充饥|焦点滚动
新一代自拍之王!小米Civi 3前置双主摄:拍照Vlog全面兼顾 天天即时
称比亚迪污染物排放不达标 长城举报的是个啥:油箱成争议焦点
暖心!国羽苏杯夺冠黄东萍视频连线王懿律,黄鸭组合一同登台领奖
Maven的核心解压与配置 观热点
当前通讯!你怎么看?统计称上海人能挣钱更能花钱 全国北京人赚的钱最耐花
图灵奖得主:人类大脑是生物机器 一定会有超级AI超越它 今日热议
焦点消息!《雨血》精神续作!国产黑暗武侠大作《影之刃零》发布首支预告
天天关注:黄芪加枸杞大枣泡水喝的功效与作用 枸杞大枣泡水喝的功效与作用
SRE心里话:要求100%服务可用性就是老板的无知_环球信息
助数字人民币“飞入寻常百姓家”
国外玩家吐槽PS发布会拉跨:是不是最差的一届?-环球新资讯
消失70多年 一度被认为灭绝:广西发现珍稀植物巨型蜘蛛抱蛋
世界今日讯!AMD超算三连冠!唯一投入实用的百亿亿次
高性价高颜值轻薄本代表作!华硕无畏15 2023 4299元首发抢购中|世界快播
焦点速读:老人遛狗不牵绳还将猫踢飞 网友吵翻:这是在保护猫 你怎么看?
焦点资讯:5人5月用容器技术保卫蓝天
关于 Workstation Pro 的基础知识
文物 | 博物馆文物的数字化保护与管理
马上就要过期的食品打一折:能买吗?安全吗?
马斯克计划打造世界第三大AI公司 或整合特斯拉和推特
世界快报:强对流天气预警:今天起 多地将有8-10级雷暴大风或冰雹
奇丑无比的洞洞鞋凭啥风靡全球?但是 绝对别穿它上扶梯-天天热消息
蔚来ES6上市当天 李想立下flag:10月份理想L7月销破2万辆_前沿热点
天天动态:弃“元”投“AI”,传百度副总裁马杰加入创新工场,成立AIGC公司
实时:gPTP时钟同步(时间同步服务器)助力智能驾驶应用
当前消息!直播源码技术实现游戏组队功能
【环球财经】惠誉评级把美国长期外币发行人违约评级展望列为“负面”
美媒:无人机袭击克宫或为乌特别部门策划-全球热讯
springboot~统一处理日期请求参数java.utils.Date和java.time.LocalDate_天天播报
【一步步开发AI运动小程序】七、进行运动计时、计数
36.8万起!蔚来全新ES6开卖:激光雷达、零百4.5秒 会成爆款吗
入门即高配!比亚迪宋Pro DM-i冠军版今日上市:纯电续航再提升
超110万辆特斯拉到底何时召回?时间点来了 强制单踏板再见
百公里油耗仅仅7.4升!依维柯聚星正式上市:13.68万元起
全新宝马5系发布:内饰、科技大升级 看眼后视镜就能自动变道
世界今亮点!在旧时光里注入新生机——湖南郴州“唤醒老屋”行动观察
全球快报:第六章.数据结构与算法基础(重点)
今日快讯:海康威视SDK - 门禁admin用户密码设置
当前速递!走进Linux世界,学习Linux系统的必备指南
最美不过二次元【AI】
黑人女玩家谈《Forspoken》差评如潮:种族主义者的偏见|世界观热点
结婚6年没孩子 查出丈夫非男性:医生科普是性反转综合征 网友刷新认知
焦点短讯!Windows 11打破隔阂 苹果安卓手机都能连 五大功能你用过没?
最高省1800元!iPhone 14 Pro系列京东618便宜了:抢券6499元起
当前关注:首款高通骁龙W5+智能手表!TicWatch Pro 5发布 续航45天
学系统集成项目管理工程师(中项)系列26_新兴信息技术-环球短讯
tn系统的三种适用范围_tn系统 天天新要闻
【环球时快讯】国际金融市场早知道:5月25日
四大证券报精华摘要:5月25日-环球今亮点
索尼宣布串流掌机
磁带存储不死!2022年逆市增长 2028年机械硬盘将消失?
天天微动态丨能像纸一样弯曲!我国成功研制出高柔韧性单晶硅太阳电池
世界微速讯:惠普新款暗影精灵9锐龙版上架:满血锐龙7+RTX 4060 首发6799元
今日dnf主线任务没了_dnf主线任务没了怎么办
做好持久战准备!小米自研芯片决心不动摇:盘点小米造芯之路
《刺客信条:幻景》10月12日发售:预售已开启_世界看热讯
世界焦点!小萝莉被杀真实案件 小萝莉被
快讯:将Android手机无线连接到Ubuntu实现唱跳Rap
gitlab ci 集成 eslint/prettier/tsc 做代码审查,并使用 eslint 输出作为显示代码质量 天天新视野
环球快播:人类暴露?外星文明快要联系地球了:美国算出时间
OPPO Pad 2新版开启预售:天玑9000加持 2599元|每日播报
焦点热议:国民神车MINI EV销量暴跌:五菱还有下一个爆款吗
最伟大Windows降临:操作系统彻底改变
iQOO Pad预售:最强天玑平板 2389元起
山东省高校毕业生就业信息网 山东省毕业生信息网
焦点观察:宝宝晚上睡觉不踏实总是翻来覆去_宝宝晚上睡觉不踏实翻来覆去怎么办
焦点日报:这些员工申报个税 可扣除6万元减除费用
天天速递!电子科大和四川美院第三届联合教学与创作成果展开幕式举行
神车卡罗拉迎来最新版,第五代丰田 THS 升级在哪?-今日播报
全球快播:英国通胀降至8.7%,但食品价格仍疯涨!鲍里斯又被告到警方,还是因为派对门…
湖南省湘电试研技术有限公司荣列先进制造业企业政策支持名单
Dubbo实践-全球热推荐
GPT-4通过了waitlist,私信爆了!
全球今日讯!10-阻塞赋值和非阻塞赋值
中国驻洛杉矶总领馆提醒中国公民防范电信诈骗
世界热推荐:小米机皇赢麻了!13 Ultra京东好评率超过99%
纯白千层镜!影驰RTX 4060 Ti 8GB星曜OC图赏
员工每天带薪上厕所3至6小时被解雇:法院判了 环球热闻
【天天快播报】618首销第一天Redmi霸占预售榜前三名 卢伟冰:孤独
精彩看点:Java设计模式-享元模式
这对中意“姐妹”世界遗产地 共话生态保护_世界微动态
多地加快推进基础设施工程建设