Linux文本处理工具( 二 ) _Linux

用tr进行转换

通用用法

echo 12345 | tr '0-9' '9876543210' //加解密转换，替换对应字符 cat text| tr 't' ' ' //制表符转空格

tr删除字符

cat file | tr -d '0-9' // 删除所有数字

-c 求补集

cat file | tr -c '0-9' //获取文件中所有数字 cat file | tr -d -c '0-9 n' //删除非数字数据

tr压缩字符
tr -s 压缩文本中出现的重复字符；最常用于压缩多余的空格

cat file | tr -s ' '

字符类
tr中可用各种字符类：
alnum：字母和数字
alpha：字母
digit：数字
space：空白字符
lower：小写
upper：大写
cntrl：控制（非可打印）字符
print：可打印字符
使用方法：tr [:class:] [:class:]

eg: tr '[:lower:]' '[:upper:]'cut 按列切分文本

截取文件的第2列和第4列：

cut -f2,4 filename

去文件除第3列的所有列：

cut -f3 --complement filename

-d 指定定界符：

cat -f2 -d";" filename

cut 取的范围
N- 第N个字段到结尾
-M 第1个字段为M
N-M N到M个字段
cut 取的单位
-b 以字节为单位
-c 以字符为单位
-f 以字段为单位（使用定界符）
eg:

cut -c1-5 file //打印第一到5个字符 cut -c-2 file //打印前2个字符paste 按列拼接文本
将两个文本按列拼接到一起;
cat file112cat file2colinbookpaste file1 file21 colin2 book默认的定界符是制表符，可以用-d指明定界符
paste file1 file2 -d ","
1,colin
2,book
wc 统计行和字符的工具
wc -l file // 统计行数
wc -w file // 统计单词数
wc -c file // 统计字符数
sed 文本替换利器

首处替换

seg 's/text/replace_text/' file //替换每一行的第一处匹配的text

全局替换

seg 's/text/replace_text/g' file

默认替换后，输出替换后的内容，如果需要直接替换原文件,使用-i：

seg -i 's/text/repalce_text/g' file

移除空白行：

sed '/^$/d' file

变量转换
已匹配的字符串通过标记&来引用.

echo this is en example | seg 's/w+/[&]/g'$>[this] [is] [en] [example]

子串匹配标记
第一个匹配的括号内容使用标记 1 来引用

sed 's/hello([0-9])/1/'

双引号求值
sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：

sed 's/$var/HLLOE/'

当使用双引号时，我们可以在sed样式和替换字符串中指定变量；

eg:p=pattenr=replacedecho "line con a patten" | sed "s/$p/$r/g"$>line con a replaced

其它示例
字符串插入字符：将文本中每行内容（PEKSHA）转换为 PEK/SHA

sed 's/^.{3}/&//g' fileawk 数据流处理工具

awk脚本结构
awk ' BEGIN{ statements } statements2 END{ statements } '
工作方式
1.执行begin中语句块；
2.从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕；
3.执行end语句块；

print 打印当前行

使用不带参数的print时，会打印当前行;

echo -e "line1nline2" | awk 'BEGIN{print "start"} {print } END{ print "End" }'

print 以逗号分割时，参数以空格定界;

echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1, var2 , var3; }'$>v1 V2 v3

使用-拼接符的方式（""作为拼接符）;

echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1"-"var2"-"var3; }'$>v1-V2-v3特殊变量： NR NF $0 $1 $2
NR:表示记录数量，在执行过程中对应当前行号；
NF:表示字段数量，在执行过程总对应当前行的字段数；
$0:这个变量包含执行过程中当前行的文本内容；
$1:第一个字段的文本内容；
$2:第二个字段的文本内容；
echo -e "line1 f2 f3n line2 n line 3" | awk '{print NR":"$0"-"$1"-"$2}'