第六天

Posted 2020-09-17 飞起的小田

在Python中，文件读写是通过open()函数打开的文件对象完成的 文件读写时都有可能产生IOError Python引入了with语句来自动帮我们调用close()方法： >>>with open(‘/path/to/file‘, ‘r‘) as f: ...print f.read() Python还提供了一个codecs模块帮我们在读文件时自动转换编码，直接读出unicode： import codecs with codecs.open(‘/Users/michael/gbk.txt‘, ‘r‘, ‘gbk‘) as f: f.read() # u‘\u6d4b\u8bd5‘ 写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符‘w‘或者‘wb‘表示写文本文件或写二进制文件 操作文件和目录的函数一部分放在os模块中，一部分放在os.path模块中 # 查看当前目录的绝对路径: >>> os.path.abspath(‘.‘) ‘/Users/michael‘ # 在某个目录下创建一个新目录， # 首先把新目录的完整路径表示出来: >>> os.path.join(‘/Users/michael‘, ‘testdir‘) ‘/Users/michael/testdir‘ # 然后创建一个目录: >>> os.mkdir(‘/Users/michael/testdir‘) # 删掉一个目录: >>> os.rmdir(‘/Users/michael/testdir‘) # 对文件重命名: >>> os.rename(‘test.txt‘, ‘test.py‘) # 删掉文件: >>> os.remove(‘test.py‘) 在操作系统中定义的环境变量，全部保存在os.environ这个dict中，要获取某个环境变量的值，可以调用os.getenv()函数 pickle.dumps()方法把任意对象序列化成一个str，然后，就可以把这个str写入文件。或者用另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object 当我们要把对象从磁盘读到内存时，可以先把内容读到一个str，然后用pickle.loads()方法反序列化出对象，也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象。 Python语言特定的序列化模块是pickle，但如果要把序列化搞得更通用、更符合Web标准，就可以使用json模块。json模块的dumps()和loads()函数是定义得非常好的接口的典范。 在Unix/Linux下，可以使用fork()调用实现多进程。要实现跨平台的多进程，可以使用multiprocessing模块。进程间通信是通过Queue、Pipes等实现的。 多任务可以由多进程完成，也可以由一个进程内的多线程完成。我们前面提到了进程是由若干线程组成的，一个进程至少有一个线程。 Python的标准库提供了两个模块：thread和threading，thread是低级模块，threading是高级模块，对thread进行了封装。绝大多数情况下，我们只需要使用threading这个高级模块。 启动一个线程就是把一个函数传入并创建Thread实例，然后调用start()开始执行： 任何进程默认就会启动一个线程，我们把该线程称为主线程，主线程又可以启动新的线程，Python的threading模块有个current_thread()函数，它永远返回当前线程的实例。 主线程实例的名字叫MainThread，子线程的名字在创建时指定，如果不起名字Python就自动给线程命名为Thread-1，Thread-2…… 多线程和多进程最大的不同在于，多进程中，同一个变量，各自有一份拷贝存在于每个进程中，互不影响，而多线程中，所有变量都由所有线程共享， 所以，任何一个变量都可以被任何一个线程修改，因此，线程之间共享数据最大的危险在于多个线程同时改一个变量，把内容给改乱了。 原因是因为高级语言的一条语句在CPU执行时是若干条语句，执行这几条语句时，线程可能中断，从而导致多个线程把同一个对象的内容改乱了。 我们必须确保一个线程在修改balance的时候，别的线程一定不能改。给change_it()上一把锁，当某个线程开始执行change_it()时，我们说，该线程因为获得了锁， 因此其他线程不能同时执行change_it()，只能等待，直到锁被释放后，获得该锁以后才能改。 由于锁只有一个，无论多少线程，同一时刻最多只有一个线程持有该锁，所以，不会造成修改的冲突。创建一个锁就是通过threading.Lock()来实现 当多个线程同时执行lock.acquire()时，只有一个线程能成功地获取锁，然后继续执行代码，其他线程就继续等待直到获得锁为止。 获得锁的线程用完后一定要释放锁，否则那些苦苦等待锁的线程将永远等待下去，成为死线程。所以我们用try...finally来确保锁一定会被释放。 锁的好处就是确保了某段关键代码只能由一个线程从头到尾完整地执行，坏处当然也很多，首先是阻止了多线程并发执行，包含锁的某段代码实际上只能以单线程模式执行，效率就大大地下降了。 其次，由于可以存在多个锁，不同的线程持有不同的锁，并试图获取对方持有的锁时，可能会造成死锁，导致多个线程全部挂起，既不能执行，也无法结束，只能靠操作系统强制终止。 Python的线程虽然是真正的线程，但解释器执行代码时，有一个GIL锁：Global Interpreter Lock，任何Python线程执行前，必须先获得GIL锁， 然后，每执行100条字节码，解释器就自动释放GIL锁，让别的线程有机会执行。这个GIL全局锁实际上把所有线程的执行代码都给上了锁，所以，多线程在Python中只能交替执行，即使100个线程跑在100核CPU上，也只能用到1个核。 GIL是Python解释器设计的历史遗留问题，通常我们用的解释器是官方实现的CPython，要真正利用多核，除非重写一个不带GIL的解释器。 所以，在Python中，可以使用多线程，但不要指望能有效利用多核。如果一定要通过多线程利用多核，那只能通过C扩展来实现，不过这样就失去了Python简单易用的特点。 多线程的并发在Python中就是一个美丽的梦。