Python ValueError：形状不匹配：无法将对象广播到单个形状

Posted 2021-04-27

我的数据集文件看起来像

__label__ita Adesso datemi le chiavi.
__label__ara ياله من طفل محبب! يييي!
__label__eng You're a really bad bartender.
__label__epo En kiu hotelo vi restados?
__label__spa Él dijo haber perdido su vigor a los cuarenta.
__label__tat Сиңа булышмакчы идем.
__label__heb את מה פותח המפתח הזה?
__label__eng I caught a glimpse of him from the bus.
__label__eng I advise you to do that today.
__label__jpn この歌の歌い方を教えてくれますか。
__label__deu Ich habe gewusst, dass ihr Tom nicht vergessen würdet.

我正在使用此函数来解析第一列标签

def parse_labels(path):
    with open(path, 'r') as f:
        return np.array( list(map(lambda x: x[9:], f.read().decode('utf-8').split() )) )

所以我拆分行并通过示例从前缀ita获取__label__ita标签，但由于某种原因它打破了

test_labels = parse_labels(args.test)
print("Test labels:%d (sample)\n%s" % (len(test_labels),test_labels[:1]) )
print("labels:%s" % test_labels)

我明白了

Test labels:71828 (sample)
[u'ita']
labels:[u'ita' u'' u'' ... u'' u'' u'']

虽然我应该有

[u'ita',u'ara',u'eng',...]

答案

你问题的标题似乎与内容不符，我正在回答正文中提出的问题。我使您的代码更加模块化并进行了测试。它返回问题末尾的所需列表（u'ita',u'ara',u'eng',...]）：

def parse_labels(path):
    test_labels = []
    with open(path,'rb') as f:
        for line in f:
            test_labels.append(line.decode('utf-8').split(' ')[0][10:])
        return [x for x in test_labels if x] #removes empty strings
parse_labels(args.test)

另一答案

由于语言代码在每行中都处于固定偏移量，因此可以使用列表推导更简单地处理。 data.txt是UTF-8编码的输入数据。此代码适用于Python 2和3：

from __future__ import print_function
import io

def parse_labels(path):
    with io.open(path,encoding='utf8') as f:
        return [line[9:12] for line in f]

print(parse_labels('data.txt'))

输出（Python 3）：

['ita', 'ara', 'eng', 'epo', 'spa', 'tat', 'heb', 'eng', 'eng', 'jpn', 'deu']