当前位置：首页 > 科技 > 软件

通过研究案例，彻底掌握Python GIL

来源：责编：时间：2023-11-04 23:04:50 225观看

导读Python因其全局解释器锁（GIL）而声名狼藉。GIL限制了Python解释器一次只能执行一个线程。在现代多核CPU上，这是一个问题，因为程序无法利用多个核心。不过，尽管存在这种限制，Python仍已成为从后端Web应用到AI/ML和科学计算等

Python因其全局解释器锁（GIL）而声名狼藉。GIL限制了Python解释器一次只能执行一个线程。在现代多核CPU上，这是一个问题，因为程序无法利用多个核心。不过，尽管存在这种限制，Python仍已成为从后端Web应用到AI/ML和科学计算等领域的顶级语言。

1、训练数据管道的结构

对于大多数后端Web应用来说，GIL的限制并不是一个约束，因为它们通常受到I/O的限制。在这些应用中，大部分时间只是等待来自用户、数据库或下游服务的输入。系统只需具备并发性，而不一定需要并行性。Python解释器在执行I/O操作时会释放GIL，因此当线程等待I/O完成时，就会给另一个线程获得GIL并执行的机会。

GIL的限制不会影响大多数计算密集型的AI/ML和科学计算工作负载，因为像NumPy、TensorFlow和PyTorch等流行框架的核心实际上是用C++实现的，并且只有Python的API接口。大部分计算可以在不获取GIL的情况下进行。这些框架使用的底层C/C++内核库（如OpenBLAS或Intel MKL）可以利用多个核心而不受GIL的限制。

当同时有I/O和计算任务时会发生什么？

2、使用纯Python的计算任务

具体来说，可以考虑以下两个简单的任务。

import timedef io_task():    start = time.time()    while True:        time.sleep(1)        wake = time.time()        print(f"woke after: {wake - start}")        start = wake        def count_py(n):  compute_start = time.time()  s = 0  for i in range(n):      s += 1  compute_end = time.time()  print(f"compute time: {compute_end - compute_start}")  return s

在这里，通过休眠一秒钟来模拟一个I/O限制的任务，然后唤醒并打印它休眠了多长时间，然后再次休眠。count_py是一个计算密集型的任务，它简单地对数字n进行计数。如果同时运行这两个任务会发生什么？

import threadingio_thread = threading.Thread(target=io_task, daemnotallow=True)io_thread.start()count_py(100000000)

输出结果如下：

woke after: 1.0063529014587402woke after: 1.009704828262329woke after: 1.0069530010223389woke after: 1.0066332817077637compute time: 4.311860084533691

count_py需要大约4.3秒才能计数到一百万。但是io_task在同一时间内运行而不受影响，大约在1秒后醒来，与预期相符。尽管计算任务需要4.3秒，但Python解释器可以预先从运行计算任务的主线程中释放GIL，并给予io_thread获得GIL并运行的机会。

3、使用numpy的计算任务

现在，本文将在numpy中实现计数函数，并进行与之前相同的实验，但这次要计数到一千万，因为numpy的实现效率更高。

import numpy as npdef count_np(n):    compute_start = time.time()    s = np.ones(n).sum()    compute_end = time.time()    print(f"compute time: {compute_end - compute_start}")    return s  io_thread = threading.Thread(target=io_task, daemnotallow=True)io_thread.start()count_np(1000000000)

输出结果如下：

woke after: 1.0001161098480225woke after: 1.0008511543273926woke after: 1.0004539489746094woke after: 1.1320469379425049compute time: 4.1334803104400635

这显示的结果与上一次实验类似。在这种情况下，不是Python解释器预先释放了GIL，而是numpy自己主动释放了GIL。

这是否意味着在独立的线程中同时运行I/O任务和计算任务总是安全的？

4、使用自定义C++扩展的计算任务

现在，本文将用Python的C++扩展实现计数函数。

// importing Python C API Header#include <Python.h>#include <vector>static PyObject *count(PyObject *self, PyObject *args){  long num;  if (!PyArg_ParseTuple(args, "l", &num))         return NULL;  long result = 0L;  std::vector<long> v(num, 1L);  for (long i=0L; i<num; i++) {    result += v[i];   }  return Py_BuildValue("l", result);}// defining our functions like below:// function_name, function, METH_VARARGS flag, function documentsstatic PyMethodDef functions[] = {  {"count", count, METH_VARARGS, "Count."},  {NULL, NULL, 0, NULL}};// initializing our module informations and settings in this structure// for more informations, check head part of this file. there are some important links out there.static struct PyModuleDef countModule = {  PyModuleDef_HEAD_INIT, // head informations for Python C API. It is needed to be first member in this struct !!  "count",  // module name  NULL,  -1,  functions  // our functions list};// runs while initializing and calls module creation function.PyMODINIT_FUNC PyInit_count(void){  return PyModule_Create(&countModule);}

可以通过运行python setup.py build来构建扩展，使用以下setup.py：

from distutils.core import setup, Extensioncount_module = Extension('count', sources=['count.cpp'])setup(name='python_count_extension',      versinotallow='0.1',      descriptinotallow='An Example For Python C Extensions',      ext_modules=[count_module],      )

然后，使用作为自定义扩展实现的计数函数运行实验：

import count def count_custom(n):    compute_start = time.time()    s = count.count(n)    compute_end = time.time()    print(f"compute time: {compute_end - compute_start}")    return sio_thread = threading.Thread(target=io_task, daemnotallow=True)io_thread.start()count_custom(1000000000)

得到如下结果：

woke after: 4.414866924285889compute time: 4.414893865585327

在这种情况下，计算任务持有GIL，并阻止I/O线程运行。

Python解释器只能在两个Python字节码指令之间预先释放GIL，在扩展中，是否自愿释放GIL取决于扩展的实现。

在这种情况下，本例进行了一个不会影响任何Python对象的琐碎计算，因此可以在C++的计数函数中使用宏Py_BEGIN_ALLOW_THREADS和Py_END_ALLOW_THREADS来释放GIL：

static PyObject *count(PyObject *self, PyObject *args){  long num;  if (!PyArg_ParseTuple(args, "l", &num))         return NULL;  long result = 0L;  Py_BEGIN_ALLOW_THREADS  std::vector<long> v(num, 1L);  for (long i=0L; i<num; i++) {    result += v[i];   }   Py_END_ALLOW_THREADS  return Py_BuildValue("l", result);}

使用这种实现方式，当重新运行实验时，会得到如下结果：

woke after: 1.0026037693023682woke after: 1.003467082977295woke after: 1.0028629302978516woke after: 1.1772480010986328compute time: 4.186192035675049

5、结论

在使用Python时，了解GIL是很重要的。在大多数常见情况下，可能不会遇到它的限制。但是，如果使用包装C/C++库的第三方Python包（除了标准的NumPy、SciPy、TensorFlow或PyTorch），在涉及到任何重型计算时可能会遇到一些问题。在开发自定义扩展时，最好在进行重型计算之前释放GIL，以便其他Python线程有机会运行。

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-26-16939-0.html通过研究案例，彻底掌握Python GIL

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Sed 原地替换文件时遇到的趣事

下一篇：五个使用IntelliJ IDEA优化Java代码的小技巧

标签：

热门焦点

线程通讯的三种方法！通俗易懂

线程通信是指多个线程之间通过某种机制进行协调和交互，例如，线程等待和通知机制就是线程通讯的主要手段之一。在 Java 中，线程等待和通知的实现手段有以下几种方式：Object 类下
摸鱼心法第一章——和配置文件说拜拜

为了能摸鱼我们团队做了容器化，但是带来的问题是服务配置文件很麻烦，然后大家在群里进行了“亲切友好”的沟通图片图片图片图片对比就对比，简单对比下独立配置中心和k8s作为配
.NET 程序的 GDI 句柄泄露的再反思

一、背景1. 讲故事上个月我写过一篇如何洞察 C# 程序的 GDI 句柄泄露文章，当时用的是 GDIView + WinDbg 把问题搞定，前者用来定位泄露资源，后者用来定位泄露代码，后面有朋友反
自律，给不了Keep自由！

来源 | 互联网品牌官作者 | 李大为编排 | 又耳审核 | 谷晓辉自律能不能给用户自由暂时不好说，但大概率不能给Keep自由。近日，全球最大的在线健身平台Keep正式登陆港交所，努力
大厂卷向扁平化

来源：新熵作者丨南枝编辑丨月见大厂职级不香了。俗话说，兵无常势，水无常形，互联网企业调整职级体系并不稀奇。7月13日，淘宝天猫集团启动了近年来最大的人力制度改革，目前已形成一
疑似小米14外观设计图曝光：后置相机模组变化不大

下半年的大幕已经开启，而谁将成为下半年手机圈的主角就成为了大家关注的焦点，其中被传有望拿下新一代骁龙8 Gen3旗舰芯片的小米14系列更是备受大家瞩
苹果、三星、惠普等暂停向印度出口笔记本和平板电脑

集微网消息，据彭博社报道，在8月3日印度突然禁止在没有许可证的情况下向印度进口电脑/平板及显示器等产品后，苹果、三星电子和惠普等大公司暂停向印度
OPPO K11搭载高性能石墨散热系统：旗舰同款性能凉爽释放

日前OPPO官方宣布，将于7月25日14:30举办新品发布会，届时全新的OPPO K11将正式与大家见面，将主打旗舰影像，和同档位竞品相比，其最大的卖点就是将配备索尼
中关村论坛11月25日开幕，15位诺奖级大咖将发表演讲

11月18日，记者从2022中关村论坛新闻发布会上获悉，中关村论坛将于11月25至30日在京举行。本届中关村论坛由科学技术部、国家发展改革委、工业和信息化部、国务