#将字符串分成字节

#将字符串分成字节

1
2
3
4
5
6
#sed 's/./& /g'  ##将每一个字符后+空格&代表前面字符
[root@localhost ~]# echo ffing|sed 's/./& /g'
f f i n g 
#sed 's/./& /g'  ##将每一个字符前+空格&代表前面字符
[root@localhost ~]# echo ffing|sed 's/./ &/g'
 f f i n g

#删除行首的空格

1
2
3
sed -i 's/^[ ]*//g' 文件名
sed -i 's/^[[:space:]]*//' 文件名
sed -i 's/^ *//' 文件名

#删除行尾的空格

1
2
3
sed -i 's/[ ]*$//g' 文件名
sed -i 's/[[:space:]]*$//' 文件名
sed -i 's/ *$//' 文件名

#、在匹配行前后插入内容

1
2
3
4
#匹配行前加
sed -i '/《匹配字段》/i 《插入内容》' 《文件名》
#匹配行后加
sed -i '/《匹配字段》/a 《插入内容》' 《文件名》

在指定行插入内容

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
#i是上一行,a是下一行

#第一行的上一行,插入一行内容
sed '1i 要添加的内容' 文件名


#第一行的下一行,插入一行内容
sed '1a 要添加的内容' 文件名


#最后一行
sed '$a 要添加的内容' 文件名

在指定行,开头添加#

1
sed 's/listen/#&/'  filename

在指定行,行尾添加;(分号)

1
sed 's/9000/&;/'  filename

sed指定行号前追加

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
#把3~5行的行首,进行注释
sed '3,5 s/^/#/' 1.txt


#把3,进行注释
sed '3 s/^/#/' 1.txt



#替换3~5行中的关键字alone为空
sed '3,5 s/alone//' 1.txt


#在第一行默认为追加新内容
sed '1s/$/新添加的内容/' /usr/libexec/urlgrabber-ext-down

删除行首的空格

1
2
sed 's/^[[:space:]]*//g' file.txt
sed 's/^ *//g' file.txt

删除行尾空格

1
cat 1.txt|sed 's/ *$//'

$指定行到结尾行

1
2
3
4
5
6
7
[root@bogon server-svn]# cat version.list 
2023.05.01
2023.05.02
2023.05.03
[root@bogon server-svn]# cat version.list |sed -n '/2023.05.02/,/$/p' version.list 
2023.05.02
2023.05.03

打印关键字所在行的行号

1
sed -n '/the/=' 1.txt         //输出包含the 的行所在的行号      等号(=)用来输出行号

打印奇数行

1
2
sed -n 'p;n' 2.txt    //输出所有奇数行,n 表示读入下一行资料
sed -n '1,5{p;n}' 2.txt //输出第 1~5 行之间的奇数行(第 1、3、5 行)

打印偶数行

1
2
sed -n 'n;p' 2.txt    //输出所有偶数行,n 表示读入下一行资料
sed -n '10,${n;p}' 2.txt    //输出第 10 行至文件尾之间的偶数行

连续打印

1
2
3
sed -n '2,+3p' 2.txt    //从第2行开始,连续3行进行输出,即输出2~5行
#打印范围
sed -n   '/开始时间日期/,/结束时间日期/p'   xxx.log

整行替换使用/c

1.将包含字符串的整行,进行替换

语法: sed ' /包含的字符串/c 整行要替换的内容' 文件路径

1
2
3
#如果替换内容包含有变量使用双引号!!!
#如下:将包含DOTNET_ROOT=的行,整行替换为export DOTNET_ROOT=$DOTNET_ROOT
sed "/DOTNET_ROOT=/c export DOTNET_ROOT=$DOTNET_ROOT" /etc/profile

2.通过行号整行替换

语法:sed ' 行号c 内容 ' 文件路径

1
2
3
4
5
6
#将第5行号整行替换
sed '5c    123456' /etc/profile
#将第一行替换
sed '1c 123456' /etc/profile
#将最后一行替换
sed '$c 12345' /etc/profile

#行尾追加

1
2
3
4
#在包含PATH=的行尾追加
  sed '/PATH=/ s/$/:$DOTNET_ROOT/' /etc/profile
#在以export开头,且包含PATH=的行尾追加:$DOTNET_ROOT(.*是通配符多个) 
  sed '/^export.*PATH=.*/ s/$/:$DOTNET_ROOT/' /etc/profile

#行首追加

1
2
3
4
#在包含PATH=的行首追加#
  sed '/PATH=/ s/^/#/' /etc/profile
#在以export开头,且包含PATH=的行尾追加:$DOTNET_ROOT(.*是通配符多个) 
  sed '/^export.*PATH=.*/ s/^/#/' /etc/profile

#关键字左右侧追加

1
2
3
4
5
#在'ONBOOT='左侧追加#号,  !注&是连接符!
sed  's/ONBOOT=/#&/' /etc/sysconfig/network-scripts/ifcfg-lo

#在'ONBOOT='右侧追加#号,  !注&是连接符!
sed  's/ONBOOT=/&#/' /etc/sysconfig/network-scripts/ifcfg-lo

#删除关键字所在行

1
sed '/关键字/d' 文件名

一、在某行(指具体行号)前或后加一行内容

第4行末尾追加一行,内容为test

sed -i 'N;4atest' test.txt

第4行行首追加一行,内容为test

sed -i 'N;4itest' test.txt

匹配到test字段的行行首插入一行

find . -name test.txt|xargs sed -i '/test/i '

所有行首增加

sed -i 's/^/ABC/' test.txt

所有行尾添加

sed -i 's/$/XYZ/' test.txt

第5行添加文件a.txt的内容

sed -i '5 r a.txt' test.txt

oooo行文件a.txt的内容

sed -i '/oooo/r a.txt' 5.txt

二、删除操作

删除指定行,例如第5行

sed -i '5 d' test.txt

删除首行

sed -i '1d' test.txt

删除末行

sed -i '$d' test.txt

删除空行

sed -i '/^$/d' test.txt

剔除空格

sed -i 's/[ ]*//g' test.txt

删除车符

sed -i 's/^M//g' test.txt

删除指定字段的下一行

sed -i '/test/{n;d}' test.txt  #匹配到test字段

删除指定字段的上一行

sed -i -e :a -e '$!N;s/.n(.test)/1/;ta' -e 'P;d' test.txt    #匹配到test字段

三、其他操作

将所有的行合并成一行,并用指定字符分割

sed ':a;N;$!ba;s/\n/,/g' test.txt

更多操作,请man sed

示例请参考:http://blog.csdn.net/m0_37886429/article/details/79034190

四、处理以下文件内容的命令

awk '/^ +/{p++}/^?/{t=s=0;v++;k[v]=p;p=0;next}!t&&!/^[0-9]/{s++;a[s]=a[s]?a[s]"\t"$0:$0;}/^[0-9]+/{m[++q]=$0;if($0>n) n=$0}

END{for(i=1;i<=n;i++) {print a[i];if(i<=v) {t=t?t"\t"m[i]:m[i];d=d?d"\t?":"\n?"}}print t,d}'  文件名

执行效果:

文件内容(截取部分数据,好多内容都是):

每个问号之间都是文本内容,格式如上图所示

扩展:用php程序处理这个文件

$i = 1;

foreach(explode('?',file_get_contents('ab.txt')) as $loop){

$loop = trim($loop);

if( !$loop ) continue;

$cards = array();

foreach(explode("\n",$loop) as $line){

if( preg_match('/(\d+)\s([\d\w]+)/',$line,$m) ){

$count = intval($m[1]);

$card  = trim($m[2]);

$cards[$card] = $count;

}

}

$key = ''.implode(' ',array_keys($cards)).'';

$val = implode(' ',$cards);

//                          $sql = "replace into c2030($key) value($val);\n";

$sql = "$key\n$val\n";

echo "$sql";

$i++;

}

————————————————

sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作,下面先了解一下sed的用法

sed命令行格式为:

sed [选项] ‘命令’ 输入文本

sed [-nefri] ‘command’ 输入文本

常用选项:

-n∶使用安静(silent)模式。在一般sed 的用法中,所有来自 STDIN的资料一般都会被列出到荧幕上。但如果加上 -n 参数后,则只有经过sed特殊处理的那一行(或者动作)才会被列出来。

-e∶直接在指令列模式上进行 sed 的动作编辑;

-f∶直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的sed动作;

-r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)

-i∶直接修改读取的档案内容,而不是由荧幕输出。

常用命令:

a  ∶新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~

c   ∶取代, c 的后面可以接字串,这些字串可以取代n1,n2 之间的行!

d   ∶删除,因为是删除啊,所以 d后面通常不接任何咚咚;

i   ∶插入, i的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);

p  ∶列印,亦即将某个选择的资料印出。通常 p 会与参数 sed-n 一起运作~

s  ∶取代,可以直接进行取代的工作哩!通常这个 s的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!

举例:(假设我们有一文件名为ab)

$  sed '1d' ab    #删除第一行

$  sed '$d' ab    #删除最后一行

$  sed '1,2d' ab   #删除第一行到第二行

$  sed '2,$d' ab   #删除第二行到最后一行

$  sed -n '1p' ab       #显示第一行

$  sed -n '$p' ab       #显示最后一行

$  sed -n '1,2p' ab     #显示第一行到第二行

$  sed -n '2,$p' ab     #显示第二行到最后一行

$  sed -n '/ruby/p' ab   #查询包括关键字ruby所在所有行

$  sed -n '/\$/p' ab  #查询包括关键字$所在所有行,使用反斜线\屏蔽特殊含义

$  cat ab

Hello!

ruby is me,welcome to my blog.

end

$  sed '1a drink tea' ab    #第一行后增加字符串"drink tea"

Hello!

drink tea

ruby is me,welcome to my blog.

end

$  sed '1,3a drink tea' ab    #第一行到第三行后增加字符串"drink tea"

Hello!

drink tea

ruby is me,welcome to my blog.

drink tea

end

drink tea

$  sed '1a drink tea\nor coffee' ab   #第一行后增加多行,使用换行符\n

Hello!

drink tea

or coffee

ruby is me,welcome to my blog.

end

$  sed '1c Hi' ab           #第一行代替为Hi

Hi

ruby is me,welcome to my blog.

end

$  sed '1,2c Hi' ab     #第一行到第二行代替为Hi

Hi

end

格式:sed 's/要替换的字符串/新的字符串/g'   (要替换的字符串可以用正则表达式)

$  sed -n '/ruby/p' ab | sed 's/ruby/bird/g'    #替换ruby为bird

$  sed -n '/ruby/p' ab | sed 's/ruby//g'     #删除ruby

$  sed -i '$a bye' ab  在文件ab中最后一行直接输入"bye"

$  cat ab

Hello!

ruby is me,welcome to my blog.

end

bye

————————————————

有时候会有这样的需求,在指定的行后面或者是前面追加一行,这个时候可以使用sed来完成,具体用法如下

a\ 在指定的行后面追加一行

b\ 在指定的行前面追加一行

使用指定的行号追加内容,在使用行号的过程中,需要注意的问题有以下

N;后面只能使用偶数,且不可以为0

a表示在指定的行后面追加一行

i表示在当前行插入一行,如果指定行为4,其实最终的结果插入行的位置是第三行。

sed -i 'N;2a\newline' 1.txt

sed -i 'N;2i\newline' 1.txt

[root@lanmp shell]# cat << eof > 1.txt

a

b

c

d

eof

[root@lanmp shell]# sed -i 'N;2a2222' 1.txt

[root@lanmp shell]# cat 1.txt

a

b

2222

c

d

[root@lanmp shell]# sed -i 'N;2i2222' 1.txt

[root@lanmp shell]# cat 1.txt

2222

a

b

2222

c

d

[root@RS2 shell]# cat 1.txt

1111

3333

[root@RS2 shell]# sed -i '/^1111$/a\2222' 1.txt ; cat 1.txt

1111

2222

3333

[root@RS2 shell]# sed -i '/^1111$/i\0000' 1.txt ; cat 1.txt

0000

1111

2222

3333

下面是把所有匹配的字符都替换为指定的字符

[root@SLAVE ~]# cat << eof > 1.txt

1111

222333333

44444444445

eof

[root@SLAVE ~]# sed -i 2{s/2/3/g} 1.txt

[root@SLAVE ~]# cat 1.txt

1111

333333333

44444444445

[root@SLAVE ~]# sed -i 3{s/4/5/g} 1.txt

[root@SLAVE ~]# cat !$

cat 1.txt

1111

333333333

55555555555

—————————————