对于计算密集型任务而言 ,无需任何操作就能一直占用CPU直到超时为止,没有任何办法能够提高计算密集任务的效率,除非把GIL锁拿掉,让多核CPU并行执行。
如何能提升效率呢?想一想如果可以监测到线程的IO操作时,应用程序自发的切换到其他的计算任务,是不是就可以留住CPU?的确如此
并发 = 切换任务+保存状态,只要找到一种方案,能够在两个任务之间切换执行并且保存状态,那就可以实现单线程并发
python中的生成器就具备这样一个特点,每次调用next都会回到生成器函数中执行代码,这意味着任务之间可以切换,并且是基于上一次运行的结果,这意味着生成器会自动保存执行状态!
于是乎我们可以利用生成器来实现并发执行:
def task1(): while True: yield print("task1 run")def task2(): g = task1() while True: next(g) print("task2 run")task2()并发虽然实现了,单这对效率的影响是好是坏呢?来测试一下# 两个计算任务一个采用生成器切换并发执行 一个直接串行调用import timedef task1(): a = 0 for i in range(10000000): a += i yielddef task2(): g = task1() b = 0 for i in range(10000000): b += 1 next(g)s = time.time()task2()print("并发执行时间",time.time()-s)# 单线程下串行执行两个计算任务 效率反而比并发高 因为并发需要切换和保存def task1(): a = 0 for i in range(10000000): a += idef task2(): b = 0 for i in range(10000000): b += 1s = time.time()task1()task2()print("串行执行时间",time.time()-s)
可以看到对于纯计算任务而言,单线程并发反而使执行效率下降了一半左右,所以这样的方案对于纯计算任务而言是没有必要的
我们暂且不考虑这样的并发对程序的好处是什么,在上述代码中,使用yield来切换是的代码结构非常混乱,如果十个任务需要切换呢,不敢想象!因此就有人专门对yield进行了封装,这便有了greenlet模块
def task1(name): print("%s task1 run1" % name) g2.switch(name) # 切换至任务2 print("task1 run2") g2.switch() # 切换至任务2def task2(name): print("%s task2 run1" % name) g1.switch() # 切换至任务1 print("task2 run2")g1 = greenlet.greenlet(task1)g2 = greenlet.greenlet(task2)g1.switch("jerry") # 为任务传参数
现在我们需要一种方案 即可检测IO 又能够实现单线程并发,于是gevent闪亮登场
1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)
1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
2. 单线程内就可以实现并发的效果,最大限度地利用cpu缺点如下:
1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程来尽可能提高效率
2. 协程本质是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程import gevent,sysfrom gevent import monkey # 导入monkey补丁monkey.patch_all() # 打补丁 import timeprint(sys.path)def task1(): print("task1 run") # gevent.sleep(3) time.sleep(3) print("task1 over")def task2(): print("task2 run") # gevent.sleep(1) time.sleep(1) print("task2 over")g1 = gevent.spawn(task1)g2 = gevent.spawn(task2)#gevent.joinall([g1,g2])g1.join()g2.join()# 执行以上代码会发现不会输出任何消息# 这是因为协程任务都是以异步方式提交,所以主线程会继续往下执行,而一旦执行完最后一行主线程也就结束了,# 导致了协程任务没有来的及执行,所以这时候必须join来让主线程等待协程任务执行完毕 也就是让主线程保持存活# 后续在使用协程时也需要保证主线程一直存活,如果主线程不会结束也就意味着不需要调用join
需要注意:
1.如果主线程结束了 协程任务也会立即结束。
2.monkey补丁的原理是把原始的阻塞方法替换为修改后的非阻塞方法,即偷梁换柱,来实现IO自动切换
#myjson.pydef dump(): print("一个被替换的 dump函数")def load(): print("一个被替换的 load函数")# test.pyimport myjsonimport json# 补丁函数def monkey_pacth_json(): json.dump = myjson.dump json.load = myjson.load # 打补丁monkey_pacth_json()# 测试 json.dump()json.load()# 输出:# 一个被替换的 dump函数# 一个被替换的 load函数