博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
day-38网路编程
阅读量:5253 次
发布时间:2019-06-14

本文共 3258 字,大约阅读时间需要 10 分钟。

引子

对于计算密集型任务而言 ,无需任何操作就能一直占用CPU直到超时为止,没有任何办法能够提高计算密集任务的效率,除非把GIL锁拿掉,让多核CPU并行执行。

对于IO密集型任务任务,一旦线程遇到了IO操作CPU就会立马切换到其他线程,而至于切换到哪个线程,应用程序是无法控制的,这样就导致了效率降低。

如何能提升效率呢?想一想如果可以监测到线程的IO操作时,应用程序自发的切换到其他的计算任务,是不是就可以留住CPU?的确如此

单线程实现并发

面的引子中提到,如果一个线程能够检测IO操作并且将其设置为非阻塞,并自动切换到其他任务就可以提高CPU的利用率,指的就是在单线程下实现并发。

如何能够实现并发

并发 = 切换任务+保存状态,只要找到一种方案,能够在两个任务之间切换执行并且保存状态,那就可以实现单线程并发

python中的生成器就具备这样一个特点,每次调用next都会回到生成器函数中执行代码,这意味着任务之间可以切换,并且是基于上一次运行的结果,这意味着生成器会自动保存执行状态!

于是乎我们可以利用生成器来实现并发执行:

def task1():    while True:        yield        print("task1 run")def task2():    g = task1()    while True:        next(g)        print("task2 run")task2()并发虽然实现了,单这对效率的影响是好是坏呢?来测试一下# 两个计算任务一个采用生成器切换并发执行  一个直接串行调用import  timedef task1():    a = 0    for i in range(10000000):        a += i        yielddef task2():    g = task1()    b = 0    for i in range(10000000):        b += 1        next(g)s = time.time()task2()print("并发执行时间",time.time()-s)# 单线程下串行执行两个计算任务 效率反而比并发高 因为并发需要切换和保存def task1():    a = 0    for i in range(10000000):        a += idef task2():    b = 0    for i in range(10000000):        b += 1s = time.time()task1()task2()print("串行执行时间",time.time()-s)

可以看到对于纯计算任务而言,单线程并发反而使执行效率下降了一半左右,所以这样的方案对于纯计算任务而言是没有必要的

我们暂且不考虑这样的并发对程序的好处是什么,在上述代码中,使用yield来切换是的代码结构非常混乱,如果十个任务需要切换呢,不敢想象!因此就有人专门对yield进行了封装,这便有了greenlet模块

greenlet模块实现并发

def task1(name):    print("%s task1 run1" % name)    g2.switch(name) # 切换至任务2    print("task1 run2")     g2.switch() # 切换至任务2def task2(name):    print("%s task2 run1" % name)    g1.switch() # 切换至任务1    print("task2 run2")g1 = greenlet.greenlet(task1)g2 = greenlet.greenlet(task2)g1.switch("jerry") # 为任务传参数

该模块简化了yield复杂的代码结构,实现了单线程下多任务并发,但是无论直接使用yield还是greenlet都不能检测IO操作,遇到IO时同样进入阻塞状态,所以此时的并发是没有任何意义的。

现在我们需要一种方案 即可检测IO 又能够实现单线程并发,于是gevent闪亮登场

 

协程概述

协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。

需要强调的是:

  1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)

  2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)

对比操作系统控制线程的切换,用户在单线程内控制协程的切换

  优点如下:

    1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级

    2. 单线程内就可以实现并发的效果,最大限度地利用cpu

  缺点如下:

      1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程来尽可能提高效率

    2. 协程本质是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程

gevent携程的使用

import gevent,sysfrom gevent import monkey # 导入monkey补丁monkey.patch_all() # 打补丁 import timeprint(sys.path)def task1():    print("task1 run")    # gevent.sleep(3)    time.sleep(3)    print("task1 over")def task2():    print("task2 run")    # gevent.sleep(1)    time.sleep(1)    print("task2 over")g1 = gevent.spawn(task1)g2 = gevent.spawn(task2)#gevent.joinall([g1,g2])g1.join()g2.join()# 执行以上代码会发现不会输出任何消息# 这是因为协程任务都是以异步方式提交,所以主线程会继续往下执行,而一旦执行完最后一行主线程也就结束了,# 导致了协程任务没有来的及执行,所以这时候必须join来让主线程等待协程任务执行完毕   也就是让主线程保持存活# 后续在使用协程时也需要保证主线程一直存活,如果主线程不会结束也就意味着不需要调用join

需要注意:

  1.如果主线程结束了 协程任务也会立即结束。

  2.monkey补丁的原理是把原始的阻塞方法替换为修改后的非阻塞方法,即偷梁换柱,来实现IO自动切换

  必须在打补丁后再使用相应的功能,避免忘记,建议写在最上方

monke补丁案例

#myjson.pydef dump():    print("一个被替换的 dump函数")def load():    print("一个被替换的 load函数")# test.pyimport myjsonimport json# 补丁函数def monkey_pacth_json():    json.dump = myjson.dump    json.load = myjson.load    # 打补丁monkey_pacth_json()# 测试 json.dump()json.load()# 输出:# 一个被替换的 dump函数# 一个被替换的 load函数

 

 

 

 

 

 

 

转载于:https://www.cnblogs.com/klw1/p/10985703.html

你可能感兴趣的文章
Requests方法 -- 重定向操作
查看>>
项目实施流程概述
查看>>
js 判断滚动条是不是在浏览器底部
查看>>
[Python]小甲鱼Python视频第046课(魔法方法:描述符(Property的原理) )课后题及参考解答...
查看>>
win7 安装JDK7和JDK8后,卸载JDK8后出错
查看>>
Python——os(二)文件对象
查看>>
Java11实战:模块化的 Netty RPC 服务项目
查看>>
java 语言规范 java language specifications
查看>>
MySQL问题排查工具介绍
查看>>
JavaScript中事件绑定的三种方式
查看>>
多厂商JRE环境下Java执行优先原则
查看>>
UI auto程序结构组织方式
查看>>
前端随笔
查看>>
Java并发编程:Callable、Future和FutureTask
查看>>
Linux 常用命令四 rmdir rm
查看>>
使用JCMD采集JFR
查看>>
接下来的计划和可能会涉及的领域
查看>>
Erlang下与其他程序和语言的通信机制(1)
查看>>
mybatis原生Dao实现
查看>>
第十章作业
查看>>