python 从文件中读取单词的有效方法。

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 从文件中读取单词的有效方法。相关的知识,希望对你有一定的参考价值。

import itertools

def readwords(file_object):
    byte_stream = itertools.groupby(
    	itertools.takewhile(lambda c: bool(c),
    		itertools.imap(file_object.read,
    			itertools.repeat(1))), str.isspace)

    return ("".join(group) for pred, group in byte_stream if not pred)
        
# Example usage
import sys

if __name__ == '__main__':
    
    # read from a user file
    with open(sys.argv[1], 'r') as f:
        for w in readwords(f):
            print (w)
            
    
    # read from stdin
    for w in readwords(sys.stdin):
        print (w)

以上是关于python 从文件中读取单词的有效方法。的主要内容,如果未能解决你的问题,请参考以下文章

连接大型 CSV 文件中单词的最有效方法:pandas 还是 Python 标准库? [复制]

python读取大词向量文件

python读取大词向量文件

python 统计单词个数---从文件读取版本---不去重

在python中读取15 M行csv文件的有效方法

如何在 Python 中确定“单词”的大小