python [python] chunk处理

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python [python] chunk处理相关的知识,希望对你有一定的参考价值。

# coding: utf-8

from typing import Iterable, Iterator, Any


def chunks(sequence: Iterable, chunk_size: int = 1) -> Iterator[Any]:
    """
    指定されたシーケンスを指定されたチャンクに分割します.

    :param sequence: シーケンス
    :param chunk_size: チャンクサイズ
    :return: Iterator[Any]
    """
    for i in range(0, len(sequence), chunk_size):
        yield sequence[i:i + chunk_size]


if __name__ == '__main__':
    bits = list(range(100))
    results = list(chunks(list(chunks(bits, 2)), 16))
    pprint.pprint(results)

以上是关于python [python] chunk处理的主要内容,如果未能解决你的问题,请参考以下文章

python 通过python发送chunked http请求

python3.5+ asyncio await异步详解

python大文件处理

win10+python3.5,使用requests抓取信息遇到chunked乱码的诡异问题。python2.7则不乱码

python pandas使用chunksize异步拆分固定行数的文件

springbatch不读取process