Linux数据分析之九个给力的命令行工具

Posted 2023-06-10 Linux无限探索

要对数据进行分析，大家会从哪里入手?对于大多数熟悉了图形工作环境的朋友来说，电子表格工具无疑是第一选项。但命令行工具同样能够更快更高效地解决问题——且只须稍微学习即可上手。

要对数据进行分析，大家会从哪里入手?

对于大多数熟悉了图形工作环境的朋友来说，电子表格工具无疑是第一选项。但命令行工具同样能够更快更高效地解决问题——且只须稍微学习即可上手。

大部分此类工具冻严格局限于Linux，而多数可同样运行在Unix甚至是Windows环境之下。在今天的文章中，我们将尝试几款简单的开源数据分析工具，并共同了解其如何运作。

一、head与tail

首先，让我们先从文件处理开始。文件中有什么内容?其格式如何?大家可以使用cat命令在终端中显示文件，但其显然不适合处理内容较长的文件。

输入head与tail，二者能够完整显示文件中的指定行数内容。如果大家未指定行数，则默认显示其中10行。

1. $ tail -n 3 jan2017articles.csv
2. 02 Jan 2017,Article,Scott Nesbitt,3 tips for effectively using wikis for documentation,1,/article/17/1/tips-using-wiki-documentation,"Documentation, Wiki",710
3. 02 Jan 2017,Article,Jen Wike Huger,The Opensource.com preview for January,0,/article/17/1/editorial-preview-january,,358
4. 02 Jan 2017,Poll,Jason Baker,What is your open source New Year\'s resolution?,1,/poll/17/1/what-your-open-source-new-years-resolution,,186

在最后三行中，我能够找到日期、作者姓名、标题以及其他一些信息。不过由于缺少列头，我不清楚各列的具体含义。下面查看各列的具体标题：

1. $ head -n 1 jan2017articles.csv
2. Post date,Content type,Author,Title,Comment count,Path,Tags,Word count

现在一切都非常明确，我们可以看到发布日期、内容类型、作者、标题、提交次数、相关URL、各文章标签以及字数。

二、wc

但如果需要分析数百甚至上千篇文章，又该如何处理?这里就要使用wc命令了——其为“字数”一词的缩写。wc能够对文件的字节、字符、单词或者行数进行计数。在本示例中，我们希望了解文章中的行数。

1. $ wc -l jan2017articles.csv 93 jan2017articles.csv

本文件共有93行，考虑到第一行中包含文件标题，因此可以推测此文件是一份包含92篇文章的列表。

三、grep

下面提出新的问题：其中有多少篇文章与安全话题有关?为了实现目标，我们假定需要的文章会在标题、标签或者其他位置提到安全这一字眼。这时，grep工具可用于通过特定字符搜索文件或者实现其他搜索模式。这是一款极为强大的工具，因为我们甚至能够利用正则表达式建立极为精确的匹配模式。不过这里，我们只需要寻找一条简单的字符串。

1. $ grep -i "security" jan2017articles.csv
2. 30 Jan 2017,Article,Tiberius Hefflin,4 ways to improve your security online right now,3,/article/17/1/4-ways-improve-your-online-security,Security and encryption,1242
3. 28 Jan 2017,Article,Subhashish Panigrahi,How communities in India support privacy and software freedom,0,/article/17/1/how-communities-india-support-privacy-software-freedom,Security and encryption,453
4. 27 Jan 2017,Article,Alan Smithee,Data Privacy Day 2017: Solutions for everyday privacy,5,/article/17/1/every-day-privacy,"Big data, Security and encryption",1424
5. 04 Jan 2017,Article,Daniel J Walsh,50 ways to avoid getting hacked in 2017,14,/article/17/1/yearbook-50-ways-avoid-getting-hacked,"Yearbook, 2016 Open Source Yearbook, Security and encryption, Containers, Docker, Linux",2143

我们使用的格式为grep加-i标记(告知grep不区分大小写)，再加我们希望搜索的模式，最后是我们所搜索的目标文件的位置。最后我们找到了4篇安全相关文章。如果搜索的范围更加具体，我们可以使用pipe——它能够将grep同wc命令加以结合，用以了解其中有多少行提到了安全内容。

1. $ grep -i "security" jan2017articles.csv | wc -l 4

这样，wc会提取grep命令的输出结果并将其作为输入内容。很明显，这种结合再加上一点shell脚本，终端将立即变成一款强大的数据分析工具。

四、tr

在多数分析场景下，我们都会面对CSV文件——但我们该如何将其转换为其他格式以实现不同应用方式?这里，我们将其转化为HTML形式以通过表格进行数据使用。tr命令可帮助大家实现这一目标，它可将一类字符转化为另一类。同样的，大家也可以配合pipe命令实现输出/输入对接。

下面，我们试试另一个多部分示例，即创建一个TSV(即制表符分隔值)文件，其中只包含发表于1月20日的文章。

1. $ grep "20 Jan 2017" jan2017articles.csv | tr \',\' \'/t\' > jan20only.tsv

首先，我们利用grep进行日期查询。我们将此结果pipe至tr命令，并利用后者将全部逗号替换为tab(表示为\'/t\')。但结果去哪了?这里我们使用〉字符将结果输出为新文件而非屏幕结果。如此一来，我们可以dqywjan20only.tsv文件中一定包含预期的数据。

1. $ cat jan20only.tsv 20 Jan 2017 Article Kushal Das 5 ways to expand your project\'s contributor base 2 /article/17/1/expand-project-contributor-base Getting started 690 20 Jan 2017 Article D Ruth Bavousett How to write web apps in R with Shiny 2 /article/17/1/writing-new-web-apps-shiny Web development 218 20 Jan 2017 Article Jason Baker "Top 5: Shell scripting the Cinnamon Linux desktop environment and more" 0 /article/17/1/top-5-january-20 Top 5 214 20 Jan 2017 Article Tracy Miranda How is your community promoting diversity? 1 /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

五、sort

如果我们先要找到包含信息最多的特定列，又该如何操作?假设我们需要了解哪篇文章包含最长的新文章列表，那么面对之前得出的1月20日文章列表，我们可以使用sort命令对列字数进行排序。在这种情况下，我们并不需要使用中间文件，而可以继续使用pipe。不过将长命令链拆分成较短的部分往往能够简化整个操作过程。

1. $ sort -nr -t$\'/t\' -k8 jan20only.tsv | head -n 1
2. 20 Jan 2017 Article Tracy Miranda How is your community promoting diversity? 1 /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

以上是一条长命令，我们尝试进行拆分。首先，我们使用sort命令对字数进行排序。-nr选项告知sort以数字排序，并将结果进行反向排序(由大到小)。此后的-t$\'/t\'则告知sort其中的分隔符为tab(\'/t\')。其中的$要求此shell为一条需要处理的字符串，并将/n返回为tab。而-k8部分则告知sort命令使用第八列，即本示例中进行字数统计的目标列。

最后，输出结果被pipe至head，处理后在结果中显示此文件中包含最多字数的文章标题。

六、sed

大家可能还需要在文件中选择特定某行。这里可以使用sed。如果希望将全部包含标题的多个文件加以合并，并只为整体文件显示一组标题，即需要清除额外内容； 或者希望只提取特定行范围，同样可以使用sed。另外，sed还能够很好地完成批量查找与替换任务。

下面立足之前的文章列表创建一个不含标题的新文件，用于同其他文件合并(例如我们每月都会定期生成某个文件，现在需要将各个月份的内容进行合并)。

1. $ sed \'1 d\' jan2017articles.csv > jan17no_headers.csv

其中的“1 d”选项要求sed删除第一行。

七、cut

了解了如何删除行，那么我们该如何删除列?或者说如何只选定某一列?下面我们尝试为之前生成的列表创建一份新的作者清单。

1. $ cut -d\',\' -f3 jan17no_headers.csv > authors.txt

在这里，通过cut与-d相配合代表着我们需要第三列(-f3)，并将结果发送至名为authors.txt的新文件。

八、uniq

作者清单已经完成，但我们要如何知悉其中包含多少位不同的作者?每位作者又各自编写了多少篇文章?这里使用unip。下面我们对文件进行sort排序，找到唯一值，而后计算每位作者的文章数量，并用结果替换原本内容。

1. sort authors.txt | uniq -c > authors.txt

现在已经可以看到每位作者的对应文章数，下面检查最后三行以确保结果正确。

1. $ tail -n3 authors-sorted.txt
2. 1 Tracy Miranda
3. 1 Veer Muchandi
4. 3 VM (Vicky) Brasseur

九、awk

最后让我们了解最后一款工具，awk。awk是一款出色的替换性工具，当然其功能远不止如此。下面我们重新回归1月12日文章列表TSV文件，利用awk创建新列表以标明各篇文章的作者以及各作者编写的具体字数。

1. $ awk -F "/t" \'print $3 " " $NF\' jan20only.tsv
2. Kushal Das 690
3. D Ruth Bavousett 218
4. Jason Baker 214
5. Tracy Miranda 1007

其中的-F "/t"用于告知awk目前处理的是由tab分隔的数据。在大括号内，我们为awk提供执行代码。$3代表要求其将输出第三行，而$NF则代表输出最后一行(即‘字段数’的缩写)，并在两项结果间添加两个空格以进行明确划分。

虽然这里列举的例子规模较小，看似不必使用上述工具解决，但如果将范围扩大到包含93000行的文件，那么它显然很难利用电子表格程序进行处理。

利用这些简单的工具与小型脚本，大家可以避免使用数据库工具并轻松完成大量数据统计工作。无论您是专业人士还是业余爱好者，它的作用都不容忽视。

原文来自：http://os.51cto.com/art/201702/533060.htm

本文地址：https://www.linuxprobe.com/data-analysis-command.html编辑员：张雄，审核员：冯振华

本文原创地址：https://www.linuxprobe.com/data-analysis-command.html

本文来自博客园，作者：linux_pro，转载请注明原文链接：https://www.cnblogs.com/linuxpro/p/17470728.html

给力的linux命令--jq简易教程

jq简介

jq可以对json数据进行分片、过滤、映射和转换，和sed、awk、grep等命令一样，都可以让你轻松地把玩文本。它能轻松地把你拥有的数据转换成你期望的格式，而且需要写的程序通常也比你期望的更加简短。

jq是用C编写，没有运行时依赖，所以几乎可以运行在任何系统上。预编译的二进制文件可以直接在Linux、OS X和windows系统上运行，当然在linux和OS X系统你需要赋与其可执行权限；在linux系统中也可以直接用yum安装。
下载页面：
https://stedolan.github.io/jq/download/

在知道jq命令之前，我在linux系统中极少直接去命令去处理json数据，除非只是简单地从中过滤某个字符串，那就用grep结合正则表达式来解决。所以，掌握了jq命令，则可以让linux命令和shell脚本在处理json数据时变得得心应手。

jq简明教程

例子文件

为了便于演示jq的功能，我们在文件json.txt中保存如下内容：

cat json.txt

[{"name":"站长工具","url":"http://tool.chinaz.com","address":{"city":"厦门","country":"中国"},"arrayBrowser":[{"name":"Google","url":"http://www.google.com"},{"name":"Baidu","url":"http://www.baidu.com"}]},{"name":"站长之家","url":"http://tool.zzhome.com","address":{"city":"大连","country":"中国"},"arrayBrowser":[{"name":"360","url":"http://www.so.com"},{"name":"bing","url":"http://www.bing.com"}]}]

为了让你理解文件中的内容，对比jq的效果，在json解析工具中显示为：

“.”

最简单的jq程序是表达式”.”，它不改变输入，但可以将其优美地输出，便于阅读和理解。

cat json.txt | jq '.'

[
  {
    "name": "站长工具",
    "url": "http://tool.chinaz.com",
    "address": {
      "city": "厦门",
      "country": "中国"
    },
    "arrayBrowser": [
      {
        "name": "Google",
        "url": "http://www.google.com"
      },
      {
        "name": "Baidu",
        "url": "http://www.baidu.com"
      }
    ]
  },
  {
    "name": "站长之家",
    "url": "http://tool.zzhome.com",
    "address": {
      "city": "大连",
      "country": "中国"
    },
    "arrayBrowser": [
      {
        "name": "360",
        "url": "http://www.so.com"
      },
      {
        "name": "bing",
        "url": "http://www.bing.com"
      }
    ]
  }
]

[index]

输出列表中的第一个元素，可以使用[index]：

cat json.txt | jq '.[0]'

{
  "name": "站长工具",
  "url": "http://tool.chinaz.com",
  "address": {
    "city": "厦门",
    "country": "中国"
  },
  "arrayBrowser": [
    {
      "name": "Google",
      "url": "http://www.google.com"
    },
    {
      "name": "Baidu",
      "url": "http://www.baidu.com"
    }
  ]
}

管道线|

jq支持管道线|，它如同linux命令中的管道线——把前面命令的输出当作是后面命令的输入。如下命令把.[0]作为{...}的输入，进而访问嵌套的属性，如.name和.address.city。

观察如下几个命令，通过改变|前后的输入和输出来达到不同的效果：

cat json.txt | jq '.[0] | {name:.name,city:.address.city}'

{
  "name": "站长工具",
  "city": "厦门"
}

cat json.txt | jq '.[0] | {name:.arrayBrowser[1].name,city:.address.city}'

{
  "name": "Baidu",
  "city": "厦门"
}

cat json.txt | jq ".[] | {name:.arrayBrowser[1].name,city:.address.city}"

{
  "name": "Baidu",
  "city": "厦门"
}
{
  "name": "bing",
  "city": "大连"
}

[]

如果希望把jq的输出当作一个数组，可以在前后加上[]：

cat json.txt | jq "[.[] | {name:.arrayBrowser[1].name,city:.address.city}]"

[
  {
    "name": "Baidu",
    "city": "厦门"
  },
  {
    "name": "bing",
    "city": "大连"
  }
]

自定义key

在{}中，冒号前面的名字是映射的名称，你可以任意修改，如：

cat json.txt | jq "[.[] | {name_001:.arrayBrowser[1].name,city_002:.address.city}]"

[
  {
    "name_001": "Baidu",
    "city_002": "厦门"
  },
  {
    "name_001": "bing",
    "city_002": "大连"
  }
]

扩展阅读

http://www.json.cn/wiki.html
https://stedolan.github.io/jq/tutorial/