消费者在购物时不想和机器人交谈
|
但是随着多核时代的到来,高效地利用CPU 核心的有效方法就是使用并行性,多线程是充分实现并行的好方法,但是CPython的GIL却阻碍了对多核CPU的利用。 4.3 痛并快乐着的GIL CPython的GIL给使用者带来了便利,并且在GIL的基础上开发了许多重要的Package和语言功能。 但是多核CPU的普适和其他语言对Python的冲击,让GIL显得原始而粗暴,无法有效利用多核处理器成为了弊端。 5.多核时代GIL暴露的问题 要搞清楚GIL对多线程程序的影响就要了解GIL的运行基本原理。
CPython的Pthread是通过操作系统调度算法调度执行。 Python解释器每执行一定数量的字节码,或遇到系统IO时,会强制释放GIL,然后触发一次操作系统的线程调度,实现单核CPU的充分利用,并且在单核上释放和重新执行的时间间隔非常短。
多核情况下多线程执行时,一个线程在CPU-A执行完之后释放GIL,其他CPU上的线程都会进行竞争,但CPU-A可能又马上获取到了GIL。 这就导致其他CPU上被唤醒的线程只能眼巴巴地看着CPU-A上的线程再次执行,而自己只能等待,直到又被切换到待调度的状态。 这就会产生多核CPU频繁进行线程切换,消耗着资源,但只有一个线程能够拿到GIL真正执行Python代码,这就导致多线程在多核CPU情况下,效率还不如单线程执行效率高。 这种情况非常类似于网络编程中的多个线程监听同一端口造成的惊群现象,只不过是CPU级别的,造成的浪费更加奢侈。 6.GIL的实际影响
在单核CPU上执行多线程时由解释器实现了有效的切换,这一点是很有益处的。 在I/O密集型的诸如网络爬虫等类型的程序即使使用GIL控制下的多线程程序性能也不会像你想象中那么糟糕。
对于CPU密集型的计算类程序GIL就有比较大的问题,因为CPU密集型的程序本身没有太多等待,不需要解释器介入并且所有任务只能等待1个核心,其他核心空闲也无法使用,这么看对多核的使用确实很糟糕。 7.抛弃和优化GIL GIL一直备受争议,为此PEP也多次尝试删除或者优化GIL,但是解释器本身的复杂性和众多GIL下的类库都让GIL移除成为遥不可及的想法。
在1999年针对Python 1.5,一个free threading补丁已经尝试实现了这个想法,该补丁来自Greg Stein。 在这个补丁中,GIL被完全的移除,且用细粒度的锁来代替。然而,GIL的移除给单线程程序的执行速度带来了一定的代价。 当用单线程执行时,速度大约降低了40%。使用两个线程展示出了在速度上的提高,但除了这个提高,这个收益并没有随着核数的增加而线性增长。由于执行速度的降低,这一补丁被拒绝了,并且几乎被人遗忘。 (编辑:淮安站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
