Python进程线程协程详解

Python进程、线程、协程详解进程与线程的历史我们都知道计算机是由硬件和软件组成的。硬件中的CPU是计算机的核心，它承担计算机的所有任务。操作系统是运行在硬件之上的软件，是计算机的管理者，它负责资源的管理和分配、任务的调度。程序是运行在系统上的具有某种功能的软件，比如说浏览器，音乐播放器等。每次执行程序的时候，都会完成一定的功能，比如说浏览器帮我们打开网页，为了保证其独立性，就需要一个专门的管理和控制执行程序的数据结构——进程控制块。进程就是一个程序在一个数据集上的一次动态执行过程。进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特征，描述进程的执行变化过程，系统可以利用它来控制和管理进程，它是系统感知进程存在的唯一标志。在早期的操作系统里，计算机只有一个核心，进程执行程序的最小单位，任务调度采用时间片轮转的抢占式方式进行进程调度。每个进程都有各自的一块独立的内存，保证进程彼此间的内存地址空间的隔离。随着计算机技术的发展，进程出现了很多弊端，一是进程的创建、撤销和切换的开销比较大，二是由于对称多处理机（对称多处理机（SymmetricalMulti-Processing）又叫SMP，是指在一个计算机上汇集了一组处理器(多CPU)，各CPU之间共享内存子系统以及总线结构）的出现，可以满足多个运行单位，而多进程并行开销过大。这个时候就引入了线程的概念。线程也叫轻量级进程，它是一个基本的CPU执行单元，也是程序执行过程中的最小单元，由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销，提高了操作系统的并发性能。线程没有自己的系统资源，只拥有在运行时必不可少的资源。但线程可以与同属与同一进程的其他线程共享进程所拥有的其他资源。进程与线程之间的关系线程是属于进程的，线程运行在进程空间内，同一进程所产生的线程共享同一内存空间，当进程退出时该进程所产生的线程都会被强制退出并清除。线程可与属于同一进程的其它线程共享进程所拥有的全部资源，但是其本身基本上不拥有系统资源，只拥有一点在运行中必不可少的信息(如程序计数器、一组寄存器和栈)。python线程Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。1、threading模块threading模块建立在_thread模块之上。thread模块以低级、原始的方式来处理和控制线程，而threading模块通过对thread进行二次封装，提供了更方便的api来处理线程。123456789101112131415importthreadingimporttimedefworker(num):threadworkerfunction:return:time.sleep(1)print(Thenumis%d%num)returnforiinrange(20):t=threading.Thread(target=worker,args=(i,)，name=“t.%d”%i)t.start()上述代码创建了20个“前台”线程，然后控制器就交给了CPU，CPU根据指定算法进行调度，分片执行指令。Thread方法说明t.start():激活线程，t.getName():获取线程的名称t.setName()：设置线程的名称t.name:获取或设置线程的名称t.is_alive()：判断线程是否为激活状态t.isAlive()：判断线程是否为激活状态t.setDaemon()设置为后台线程或前台线程（默认：False）;通过一个布尔值设置线程是否为守护线程，必须在执行start()方法之后才可以使用。如果是后台线程，主线程执行过程中，后台线程也在进行，主线程执行完毕后，后台线程不论成功与否，均停止；如果是前台线程，主线程执行过程中，前台线程也在进行，主线程执行完毕后，等待前台线程也执行完成后，程序停止t.isDaemon()：判断是否为守护线程t.ident：获取线程的标识符。线程标识符是一个非零整数，只有在调用了start()方法之后该属性才有效，否则它只返回None。t.join()：逐个执行每个线程，执行完毕后继续往下执行，该方法使得多线程变得无意义t.run()：线程被cpu调度后自动执行线程对象的run方法2、线程锁threading.RLock和threading.Lock由于线程之间是进行随机调度，并且每个线程可能只执行n条执行之后，CPU接着执行其他线程。为了保证数据的准确性，引入了锁的概念。所以，可能出现如下问题：例：假设列表A的所有元素就为0，当一个线程从前向后打印列表的所有元素，另外一个线程则从后向前修改列表的元素为1,那么输出的时候，列表的元素就会一部分为0，一部分为1,这就导致了数据的不一致。锁的出现解决了这个问题。123456789101112131415161718importthreadingimporttimeglobals_num=0lock=threading.RLock()defFunc():lock.acquire()#获得锁globalglobals_numglobals_num+=1time.sleep(1)print(globals_num)lock.release()#释放锁foriinrange(10):t=threading.Thread(target=Func)t.start()3、threading.RLock和threading.Lock的区别RLock允许在同一线程中被多次acquire。而Lock却不允许这种情况。如果使用RLock，那么acquire和release必须成对出现，即调用了n次acquire，必须调用n次的release才能真正释放所占用的琐。123456789101112importthreadinglock=threading.Lock()#Lock对象lock.acquire()lock.acquire()#产生了死琐。lock.release()lock.release()importthreadingrLock=threading.RLock()#RLock对象rLock.acquire()rLock.acquire()#在同一线程内，程序不会堵塞。rLock.release()rLock.release()4、threading.Eventpython线程的事件用于主线程控制其他线程的执行，事件主要提供了三个方法set、wait、clear。事件处理的机制：全局定义了一个“Flag”，如果“Flag”值为False，那么当程序执行event.wait方法时就会阻塞，如果“Flag”值为True，那么event.wait方法时便不再阻塞。clear：将“Flag”设置为Falseset：将“Flag”设置为TrueEvent.isSet()：判断标识位是否为Ture。12345678910111213141516importthreadingdefdo(event):print('start')event.wait()print('execute')event_obj=threading.Event()foriinrange(10):t=threading.Thread(target=do,args=(event_obj,))t.start()event_obj.clear()inp=input('input:')ifinp=='true':event_obj.set()当线程执行的时候，如果flag为False，则线程会阻塞，当flag为True的时候，线程不会阻塞。它提供了本地和远程的并发性。5、threading.Condition一个condition变量总是与某些类型的锁相联系，这个可以使用默认的情况或创建一个，当几个condition变量必须共享和同一个锁的时候，是很有用的。锁是conditon对象的一部分：没有必要分别跟踪。condition变量服从上下文管理协议：with语句块封闭之前可以获取与锁的联系。acquire()和release()会调用与锁相关联的相应的方法。其他和锁关联的方法必须被调用，wait()方法会释放锁，当另外一个线程使用notify()ornotify_all()唤醒它之前会一直阻塞。一旦被唤醒，wait()会重新获得锁并返回，Condition类实现了一个conditon变量。这个conditiaon变量允许一个或多个线程等待，直到他们被另一个线程通知。如果lock参数，被给定一个非空的值，，那么他必须是一个lock或者Rlock对象，它用来做底层锁。否则，会创建一个新的Rlock对象，用来做底层锁。wait(timeout=None)：等待通知，或者等到设定的超时时间。当调用这wait()方法时，如果调用它的线程没有得到锁，那么会抛出一个RuntimeError异常。wati()释放锁以后，在被调用相同条件的另一个进程用notify()ornotify_all()叫醒之前会一直阻塞。wait()还可以指定一个超时时间。如果有等待的线程，notify()方法会唤醒一个在等待conditon变量的线程。notify_all()则会唤醒所有在等待conditon变量的线程。注意：notify()和notify_all()不会释放锁，也就是说，线程被唤醒后不会立刻返回他们的wait()调用。除非线程调用notify()和notify_all()之后放弃了锁的所有权。在典型的设计风格里，利用condition变量用锁去通许访问一些共享状态，线程在获取到它想得到的状态前，会反复调用wait()。修改状态的线程在他们状态改变时调用notify()ornotify_all()，用这种方式，线程会尽可能的获取到想要的一个等待者状态。例子：生产者-消费者模型，123456789101112131415161718importthreadingimporttimedefconsumer(cond):withcond:print(consumerbeforewait)cond.wait()print(consumerafterwait)defproducer(cond):withcond:print(producerbeforenotifyAll)cond.notifyAll()print(producerafternotifyAll)condition=threading.Condition()c1=threading.Thread(name=c1,target=consumer,args=(condition,))c2=threading.Thread(name=c2,target=consumer,args=(condition,))19202122232425p=threading.Thread(name=p,target=producer,args=(condition,))c1.start()time.sleep(2)c2.start()time.sleep(2)p.start()6、queue模块Queue就是对队列，它是线程安全的举例来说，我们去麦当劳吃饭。饭店里面有厨师职位，前台负责把厨房做好的饭卖给顾客，顾客则去前台领取做好的饭。这里的前台就相当于我们的队列。形成管道样，厨师做好饭通过前台传送给顾客，所谓单向队列这个模型也叫生产者-消费者模型。123456789101112131415importqueueq=queue.Queue(maxsize=0)#构造一个先进显出队列，maxsize指定队列长度，为0时，表示队列长度无限制。q.join()#等到队列为kong的时候，在执行别的操作q.qsize()#返回队列的大小（不可靠）q.empty()#当队列为空的时候，返回True否则返回Fa