问题描述
在解析文件的时候,需要将解析出来的数据字符串拼接成新的字符串。正常来说这个,过程是一个循环,不断拼接字符串。如果这个过程循环的次数不多的话,不同的方式拼接方式差别不大。如果循环次数超过10000次,你会发现明显的慢了。错误初始代码(简化版)如下:
class Processor(object):
def __init__(self):
self.outputStr=""
def __printContent(self):
for key,val in cmds.items():#10000个
self.outputStr=self.outputStr+val+" "*(self.__fieldWidthDict[key]-len(val))+"|"
拼接字符串的解决方式
直接通过(+)操作符拼接
>>> \'Hello\' + \' \' + \'World\' + \'!\'
\'Hello World!\'
使用这种方式进行字符串连接的操作效率低下,因为python中使用 + 拼接两个字符串时会生成一个新的字符串,生成新的字符串就需要重新申请内存,当拼接字符串较多时自然会影响效率。其他语言也是这样的,比如说golang。不要自己管理内存的,就要小心这样的操作
通过str.join()方法拼接
>>> strlist = [\'Hello\', \' \', \'World\', \'!\']
>>> \'\'.join(strlist)
\'Hello World!\'
这种方式一般常使用在将集合转化为字符串,\'\'.join()其中\'\'可以是空字符,也可以是任意其他字符,当是任意其他字符时,集合中字符串会被该字符隔开。
通过str.format()方法拼接
>>> \'{} {}!\'.format(\'Hello\', \'World\')
\'Hello World!\'
通过这种方式拼接字符串需要注意的是字符串中{}的数量要和format方法参数数量一致,否则会报错。
通过(%)操作符拼接
>>> \'%s %s!\' % (\'Hello\', \'World\')
\'Hello World!\'
这种方式与str.format()使用方式基本一致。
通过()多行拼接
>>> (
... \'Hello\'
... \' \'
... \'World\'
... \'!\'
... )
\'Hello World!\'
python遇到未闭合的小括号,自动将多行拼接为一行。
通过string模块中的Template对象拼接
>>> from string import Template
>>> s = Template(\'${s1} ${s2}!\')
>>> s.safe_substitute(s1=\'Hello\',s2=\'World\')
\'Hello World!\'
Template的实现方式是首先通过Template初始化一个字符串。这些字符串中包含了一个个key。通过调用substitute或safe_subsititute,将key值与方法中传递过来的参数对应上,从而实现在指定的位置导入字符串。这种方式的好处是不需要担心参数不一致引发异常,如:
>>> from string import Template
>>> s = Template(\'${s1} ${s2} ${s3}!\')
>>> s.safe_substitute(s1=\'Hello\',s2=\'World\')
\'Hello World ${s3}!\'
通过F-strings拼接
在python3.6.2版本中,PEP 498 提出一种新型字符串格式化机制,被称为“字符串插值”或者更常见的一种称呼是F-strings,F-strings提供了一种明确且方便的方式将python表达式嵌入到字符串中来进行格式化:
>>> s1 = \'Hello\'
>>> s2 = \'World\'
>>> f\'{s1} {s2}!\'
\'Hello World!\'
在F-strings中我们也可以执行函数:
>>> def power(x):
... return x*x
...
>>> x = 5
>>> f\'{x} * {x} = {power(x)}\'
\'5 * 5 = 25\'
而且F-strings的运行速度很快,比%-string和str.format()这两种格式化方法都快得多
性能对比选择结论
详细对比可以参考文章: 字符串拼接方式哪种快?使用Python分析连接字符的常用方法及性能
- 字符串序列拼接,不论数据量大小,首选join()函数可读性要好一点;
- 格式化类处理中,%和format()拼接差别不大,但是format()函数可读性要好一点;
- 在数据量小于100000,字符串拼接中F-strings性能优于其它拼接方法(前提是Python版本必须大于3.6.2);
- 数据量少、对程序性能要求不高、程序猿用脑过度时,选用‘+’拼接;
- 当涉及对字符串格式进行处理时,首选format()函数和F-strings方法。
解决方案
对于这种场景,可以迂回解决,先存在数组中,然后再使用join,代码如下:
class Processor(object):
def __init__(self):
self.outputStr=""
def __printContent(self):
result=[]
for key,val in cmds.items():#10000个
tempStr=" "*(self.__fieldWidthDict[key]-len(val))
result.append(val,tempStr,"|")
self.outputStr=\'\'.join(result)