bash方法从csv文件中删除最后4列

Posted 2023-02-24

【中文标题】bash方法从csv文件中删除最后4列

【英文标题】：bash method to remove last 4 columns from csv file

【发布时间】：2013-01-03 07:40:14

【问题描述】：

有没有办法使用 bash 删除某些输入 CSV 文件的最后四列？最后四列的字段长度因行而异，因此仅从每行末尾删除一定数量的字符是不够的。

【参考方案1】：

如果您知道列数，您可以为此使用cut。例如，如果您的文件有 9 列，并且逗号是您的分隔符：

cut -d',' -f -5

但是，这假设您的 csv 文件中的数据不包含任何逗号。 cut 也会将引号内的逗号解释为分隔符。

【参考方案2】：

如果所有行都具有相同数量的字段，Cut 可以执行此操作，如果没有，则使用 awk。

cut -d, -f1-6 # assuming 10 fields

如果你想控制输出分隔符使用--output-delimiter=string，将打印出前6个字段

awk -F , -v OFS=, ' for (i=1;i<=NF-4;i++) printf $i, ; printf "\n"'

循环最多第 th 个字段 -4 并将它们打印出来。

【讨论】：

在 awk 行，我猜你想 printf $i 而不是 print $i，对吧？可能是错字？和print $i , 将不起作用，您可能希望; 另一个错字？

@kent 是的意思是 printf $i，你不需要 ;如果只有一个命令。

啊，我明白你的意思了。逗号扩展为 OFS 变量的值

这不是一种可靠的方法，因为您可能在 "field1",field2,"field 3 with , comma",field4 中使用逗号引用了字段

【参考方案3】：

awk 单行：

awk -F, 'for(i=0;++i<=NF-5;)printf $i", ";print $(NF-4)'  file.csv

使用 awk 优于 cut 的优点是，您不必计算您有多少列，以及您想要保留多少列。因为你想要的是删除最后 4 列。

看测试：

kent$  seq 40|xargs -n10|sed 's/ /, /g'           
1, 2, 3, 4, 5, 6, 7, 8, 9, 10
11, 12, 13, 14, 15, 16, 17, 18, 19, 20
21, 22, 23, 24, 25, 26, 27, 28, 29, 30
31, 32, 33, 34, 35, 36, 37, 38, 39, 40

kent$  seq 40|xargs -n10|sed 's/ /, /g' |awk -F, 'for(i=0;++i<=NF-5;)printf $i", ";print $(NF-4)'
1,  2,  3,  4,  5,  6
11,  12,  13,  14,  15,  16
21,  22,  23,  24,  25,  26
31,  32,  33,  34,  35,  36

【参考方案4】：

这可能对你有用（GNU sed）：

sed -r 's/(,[^,]*)4$//' file

【讨论】：

在我看来，这是最好的答案！

【参考方案5】：

cat data.csv | rev | cut -d, -f-5 | rev

rev 反转行，所以如果所有行的列数相同，它总是会删除最后 4 列。这仅适用于最后 4 列本身不包含任何逗号的情况.

【讨论】：

在我看来这是一个非常好的解决方案，+1 用于 rev （我不知道它存在）

我收到rev: stdin: 0: Invalid or incomplete multibyte or wide character

似乎我的文件是带有Little-endian UTF-16 Unicode text 的Windows csv 文件。最后我不得不使用awk（出于其他原因）。

【参考方案6】：

这个 awk 解决方案以黑客的方式

awk -F, 'OFS=","for(i=NF; i>=NF-4; --i) $i=""gsub(",,,,,","",$0);print $0' temp.txt

【参考方案7】：

awk -F, 'NF-=4; OFS=","; print' file.csv

或者

awk -F, -vOFS=, 'NF-=4;print' file.csv

将删除每行的最后 4 列。

【讨论】：

删除额外列的好方法，但对我来说，这用输出中的空格替换了列之间的逗号。有没有一种简单的方法可以避免这种情况并将它们保留为逗号？

您可以使用 awk -F, 'NF-=4; OFS=",";打印'

太好了，这对我有用。也可以在BEGIN 块中设置OFS 或使用-v 命令行参数，如awk -F, -vOFS=, ...

此方法仅适用于 GNU awk。根据 Posix，改变 NF 是未定义的行为。

【参考方案8】：

当 CVS 文件带有带 字符的引用字段时，上述方法都不能正常工作。因此，仅使用 -character 作为字段分隔符有点困难。

以下两个帖子现在非常方便：

What's the most robust way to efficiently parse CSV using awk? [U&L] How to delete the last column of a file in Linux（注意：这仅适用于 GNU awk）

由于您使用 GNU awk，因此您可以执行以下两种操作中的任何一种：

$ awk -v FPAT='[^,]*|"[^"]+"' -v OFS="," 'NFNF-=41'

或者使用任何 awk，您可以这样做：

$ awk 'BEGINere="([^,]*|\042[^\042]+\042)"
             ere=","ere","ere","ere","ere"$"
       
       sub(ere,"")1'