python 爬虫 多线程

1、程序、进程和线程的理解      

    程序:就相当于一个应用(app),例如电脑上打开的一个程序。
    进程:程序运行资源(内存资源)分配的最小单位,一个程序可以有多个进程。
    线程:cpu最小的调度单位,必须依赖进程而存在。线程没有独立资源,所有线程共享该进程的全部资源。线程的划分尺度比进程更小。

2、如何通过多线程和多进程提高程序的运行速度?

    a、提高程序的运行速度的第一种方法:提高cpu的利用率。

        解决的方式:cpu不用休息就可以做到。
        现在我们的程序一般只有一个主线程
        如果在程序中遇到:阻塞。一旦阻塞了,cpu就休息了。休息的这段时间,就浪费了cpu的资源。
        有两种方式可以阻塞:1、time.sleep()    2、遇到io操作
        多线程:多个任务。cpu会在这多个任务之间切换,如果其中一个线程阻塞了,cpu不会休息,会处理其他线程。

    b、提高程序运行速度第二种方法:增加cpu处理的个数,让每个cpu处理一个任务。

        cpu是多核的。---利用cpu的多核进行解决。---cpu每一个核处理一个进程。--用多进程去处理。

    c、并发和并行。

猜你喜欢

转载自www.cnblogs.com/FantasticBlog/p/12327866.html