如何将实时stdout流拆分成几个文件?
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何将实时stdout流拆分成几个文件?相关的知识,希望对你有一定的参考价值。
我有一个python脚本,它不断写入文本流到stdout。像这样的东西(genstream.py):
while 1:
print (int(time.time()))
time.sleep(1)
我想要一个启动python脚本的bash脚本,将其输出保存到一组文件中,假设每小时拆分输出以避免创建难以管理的巨大文件。
然后,由相同的bash脚本处理如此创建的文件(即每小时结束时一个),以将值插入数据库并移动到存档文件夹。
我在google / stack overflow(例如split STDIN to multiple files (and compress them if possible) Bash reading STDOUT stream in real-time或https://unix.stackexchange.com/questions/26175/)中进行了搜索,但到目前为止我找不到任何解决方案。
我也尝试过像这样简单的东西(所以不考虑时间而只考虑行数)
python3 ./genstream.py | split -l5 -
但我没有输出。
我尝试过(命名)管道和三通管的组合,但似乎没有任何效果。
答案
试试这个:
python3 ./genstream.py | while read line; do
echo "$line" >> split_$(date +%Y-%m-%d-%H)
done
以上是关于如何将实时stdout流拆分成几个文件?的主要内容,如果未能解决你的问题,请参考以下文章
如何将apache tomcat的server.xml拆分成几个单独的文件?