Skip to main content

awk

awk 是一个强大的文本分析工具，在Unix/Linux系统中广泛使用。 它特别适合处理结构化的数据文件，如CSV或TSV等，可以用来进行行和列的处理、模式匹配、数学运算等任务。

基本语法​

awk 的基本语法如下：

awk 'pattern { action }' filename
  • pattern：指定一个条件或模式，用于筛选行。
  • action：当一行符合模式时要执行的操作。如果没有指定模式，则默认对所有行执行动作；如果没有指定动作，则默认打印匹配的行。
  • filename：要处理的文件名。

常用特性​

  1. 字段分隔符：默认情况下，awk 使用空格或制表符作为字段分隔符。你可以通过 -F 选项指定其他分隔符。

    awk -F, '{print $1}' filename

    这个例子将 , 作为字段分隔符，并打印每行的第一个字段。

  2. 内置变量：

    • NF: 当前行的字段数量。
    • NR: 当前行号。
    • FS: 字段分隔符。
    • OFS: 输出字段分隔符，默认为空格。
    • RS: 记录分隔符，默认为换行符。
    • ORS: 输出记录分隔符，默认为换行符。

  3. 条件与循环：awk 支持条件语句和循环结构，使其能够进行更复杂的文本处理。

  4. 打印特定行或字段：

    awk 'NR==2,NR==4' filename

    打印第2行到第4行的内容。

  5. 使用正则表达式：

    awk '/pattern/' filename

    打印包含“pattern”的所有行。

  6. 结合管道使用：

    command | awk '{print $1}'

    对命令的输出进行处理，这里只打印每行的第一个字段。

示例​

  • 打印文件中每个包含 "error" 的行，并显示该行的行号：

    awk '/error/ {print NR ": " $0}' filename

  • 对于逗号分隔的文件，计算第二列的总和：

    awk -F, '{sum += $2} END {print sum}' filename

  • 打印每行的第三个字段，假设字段由冒号分隔：

    awk -F: '{print $3}' filename

在 awk 中，action 是指当一行符合指定的模式（pattern）时要执行的操作。如果未指定模式，则对所有行执行动作；若没有指定动作，则默认打印匹配的行。动作通常包含在花括号 {} 内，并可以由多个语句组成，使用分号 ; 或换行符分隔。

常见的动作(Action)​

  1. 打印数据:

    • print: 打印当前行或指定的表达式。
    • printf: 格式化输出，与C语言中的 printf 类似。

  2. 变量操作:

    • 可以进行算术运算、赋值等操作。

  3. 控制结构:

    • 条件语句(if, else)
    • 循环(for, while)
    • 退出循环(break, continue)

  4. 内置函数调用:

    • 字符串处理函数、数学函数等。

$ 符号​

在 awk 中，$ 符号用于引用字段（列）。例如： $0 表示整行文本。 $1, $2, $3, ... 分别表示每行的第一个、第二个、第三个...字段。字段的划分依据是 FS (Field Separator)变量的值，默认为空格或制表符。

示例​

  1. 打印特定字段:

    awk '{print $1}' filename

    打印文件中每行的第一个字段。

  2. 使用条件和动作:

    awk '$2 == "test" {print $1}' filename

    如果第二列等于 "test"，则打印该行的第一列。

  3. 格式化输出:

    awk '{printf "First column: %s, Second column: %s\n", $1, $2}' filename

    使用 printf 函数格式化输出第一和第二列。

  4. 计算总和:

    awk '{sum += $1} END {print "Sum: " sum}' filename

    计算文件中第一列数值的总和并在最后输出。

通过这些基本概念，你可以开始使用 awk 进行各种复杂的文本处理任务，从简单的数据提取到复杂的数据分析和报告生成。awk 的灵活性和强大功能使其成为Unix/Linux环境下不可或缺的工具之一。

实际应用​

img.png