Linux：使用sed命令替换文件内容实操及各种报错问题解决

约定不等于承诺〃 2023-09-23 23:59 12阅读 0赞

> 工作遇到需要在页面一键操作，后端进行自动化运维部署的事情，这里就用的了**sed**命令，linux的学问真的要花时间好好学习一番了！

![在这里插入图片描述][ec641f97cf33426dac460a9837dd543f.jpeg_pic_center]  
上面图片是AI创作生成！如需咒语可私戳哦！

#### 目录 ####

*  需求背景
 *  sed命令介绍
 *  sed命令实操
 *   *  查
     *   *  查-某行的数据
         *  查-连续某几行的数据
         *  查-某行开始到最后一行的数据
         *  查-包括关键字的所有行数据
         *  查-包括特殊关键字如$所在所有行
     *  删（不改变原文件）
     *   *  删-某行数据
     *  增（不改变原文件）
     *   *  增-某行后增加数据
     *  行替换（不改变原文件）
     *   *  替换-某行数据
     *  字符串替换（不改变原文件）
     *   *  字符串替换-某行的部分字符串
     *  字符串替换（改变原文件）
     *   *  字符串替换-字符串
         *  字符串替换-匹配字符串全部替换
         *  字符串替换-每行第一个匹配的字符串替换
         *  字符串替换-只替换第一个匹配的字符串
         *  字符串替换-只替换第一行所有匹配的字符串
         *  字符串替换-每次替换两行且只替换第一个匹配的字符串
     *  文件修改
     *   *  直接修改原文件
         *  修改文件内容，备份并重命名原文件（原文件名为修改后的文件内容）
 *  问题
 *   *  1. 报错-mac上遇到的错误sed command a expects followed by text
     *   *  原因
         *  解决方法
     *  2. 报错-sed throws 'bad flag in substitute command'
     *   *  解决方法
     *  3. Sed命令中含有转义字符的问题

以下为实际工作简化后描述

## 需求背景 ##

简要说明下流程  
**原来的流程**： 每次新增连接服务，都要进行命令行操作-修改配置文件A，执行启动脚本 。  
**全部需要公司运维人员帮忙操作，且每次新增都需要人工重复操作**

**现在的流程：**  
1.提前一次性配置好环境变量文件B中的必要参数  
2.后续就交给程序来操作  
3.根据页面输入的信息替换shell模版C内容；  
4.读取环境变量B参数替换shell模版C内容；  
5.shell模版文件C替换完参数开始执行替换文件A的命令

可以发现这里需要大量替换shell文件内容的操作，如果是设置好的模板内容，其实容易替换操作（详见：[《java：自定义变量加载到系统变量后替换shell模版并执行shell》][java_shell_shell]），但是对于特定内容的替换，还是sed命令会容易些。

## sed命令介绍 ##

> sed 是一种几乎可以应用在所有 UNIX 平台（包括 Linux）上的轻量级流编辑器。sed 有许多很好的特性。首先，它相当小巧，通常要比你所喜爱的脚本语言小多倍。其次，因为 sed 是一种流编辑器，所以，它可以对如管道这样的标准输入中接收的数据进行编辑。因此，无须将要编辑的数据存储在磁盘上的文件中。因为可以轻易将数据管道输出到 sed，所以，将 sed 用作强大的 Shell 脚本中长而复杂的管道很容易。

sed 主要是用来将数据进行选取、替换、删除、新増的命令。如下是命令的语法：

sed [选项] '[动作]' 文件名

常用选项：

*  n：使用安静(silent)模式。在一般sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来；
 *  e: 直接在指令列模式上进行 sed 的动作编辑；
 *  f ：-f filename 则可以执行 filename 内的sed动作。和 awk 命令的 -f 选项非常类似；
 *  r：在 sed 中支持扩展正则表达式；
 *  i：直接修改读取的文件内容，而不是由屏幕输出；

常用命令：

*  a \\：新增，在当前行后添加一行或多行。当添加多行时，除最后一行外，每行末尾需要用“\\”代表数据未完结；
 *  c \\：行替换，用c后面的字符串替换原数据行。当替换多行时，除最后一行外，每行末尾需用“\\”代表数据未完结；
 *  i \\：插入，在当前行前插入一行或多行。当插入多行时，除最后一行外，每行末尾需要用“\\”代表数据未完结；
 *  d：删除，删除指定的行；
 *  p：打印，输出指定的行，通常 p 会与参数 sed -n 一起运作；
 *  s：字符串替换，用一个字符串替换另一个字符串。格式为“行范围s/旧字串/新字串/g”（和Vim中的替换格式类似）；

⚠️：这里需要注意，sed 所做的修改并不会直接改变文件的内容（如果是用管道符接收的命令的输出，则连文件都没有），而是把修改结果只显示到屏幕上，除非使用"-i"选项才会直接修改文件。

## sed命令实操 ##

接下来的操作都以测试数据-**sedTest.sh**为例：  
原始数据如下  
![在这里插入图片描述][c3531705ba444a45b40e8bcc2f6adfba.png]

### 查 ###

p：打印，输出指定的行；

#### 查-某行的数据 ####

如只看第2行的数据  
命令：

sed -n '2p' sedTest.sh

结果：  
![在这里插入图片描述][386a1bc3865146ddbc82fdec1b908ed1.png]

#### 查-连续某几行的数据 ####

如看从第2行到第4行的数据  
命令：

sed -n '2,4p' sedTest.sh

结果：  
![在这里插入图片描述][4d26ce7c40c64abca57952f72c29d63d.png]

#### 查-某行开始到最后一行的数据 ####

如看从第2行到最后一行的数据  
命令：

sed -n '2,$p' sedTest.sh

结果：  
![在这里插入图片描述][b9eecb2cc1ec46c9be7cad03a2dd4bcf.png]

#### 查-包括关键字的所有行数据 ####

如查询包含关键字-abc的所有行数据  
命令：

sed -n '/abc/p' sedTest.sh

结果：  
![在这里插入图片描述][45c77565c7ed497ab602dbf9d1f61585.png]

#### 查-包括特殊关键字如$所在所有行 ####

查询包括关键字$所在所有行，使用反斜线\\屏蔽特殊含义

命令：

sed -n '/\$/p' sedTest.sh

结果：  
![在这里插入图片描述][f5c4401a2b7e461381db0079babe99df.png]

上面的实操命令可以看出：

1.  所有的动作必须使用"单引号"包含；
2.  在动作中可以使用数字代表行号，逗号代表连续的行范围；
3.  还可以使用" $ " 代表最后一行，如果动作是"2,$p"，则代表查看从第二行到最后一行。

### 删（不改变原文件） ###

d：删除，删除指定的行；

#### 删-某行数据 ####

如删除第3行的数据  
命令：

sed '3d' sedTest.sh

结果：  
但其实要知道，删除只是删除的展示结果，实际上原文件并没有任何改动，如下：  
![在这里插入图片描述][a10489f53a3b4e71a6de9c3ee40ed713.png]

### 增（不改变原文件） ###

a ：新增，在当前行后添加一行或多行；

#### 增-某行后增加数据 ####

如在第1行后增加数据：YYDS  
命令：

sed '1a YYDS' sedTest.sh

结果：  
![在这里插入图片描述][e74541c282fa4b15b18a050518178656.png]  
当然，刚开始执行语句的时候出现了问题，报错：`sed: 1: "1a YYDS": command a expects \ followed by text`，解决方法在下面

### 行替换（不改变原文件） ###

c ：行替换，用c后面的字符串替换原数据行；

#### 替换-某行数据 ####

如替换第2行数据YYDS为：dddd  
命令：

sed '2c dddd' sedTest.sh

结果：  
![在这里插入图片描述][7d0b742f36ce416db845f11bae9eb35b.png]

### 字符串替换（不改变原文件） ###

s：字符串替换，用一个字符串替换另一个字符串

//（要替换的字符串可以用正则表达式）
    sed 's/要替换的字符串/新的字符串/g'

#### 字符串替换-某行的部分字符串 ####

如替换123为：666  
命令：

sed 's/123/666/g' sedTest.sh

结果：  
![在这里插入图片描述][7781ab5fceb740fd924810a6ff957573.png]

### 字符串替换（改变原文件） ###

s：字符串替换，用一个字符串替换另一个字符串，使用 **“-i”** 选项才会直接修改文件。

//（要替换的字符串可以用正则表达式）
    sed -i 's/要替换的字符串/新的字符串/g'

#### 字符串替换-字符串 ####

如替换123为：666  
命令：

sed -i 's/123/666/g' sedTest.sh

结果：  
![在这里插入图片描述][f455d723aaa74f97a21a59da6582bce7.png]

#### 字符串替换-匹配字符串全部替换 ####

如替换6为：5  
命令：

sed -i 's/6/5/g' sedTest.sh

结果：  
![在这里插入图片描述][1c02e563adb94396a3461b2ca79cbda5.png]

#### 字符串替换-每行第一个匹配的字符串替换 ####

如每行第一次出现的5替换为：6  
命令：

sed -i 's/5/6/' sedTest.sh

结果：  
![在这里插入图片描述][5a536d3055d14dcf9d8831b62d4fd8e9.png]

#### 字符串替换-只替换第一个匹配的字符串 ####

0,/待替换内容/s/待替换内容/替换内容/

如第一个匹配的5替换为：6  
命令：

sed -i '0,/5/s/5/6/' sedTest.sh

结果：  
![在这里插入图片描述][b72c8867ef2d4cac9a273f843440f056.png]

#### 字符串替换-只替换第一行所有匹配的字符串 ####

0,/待替换内容/s/待替换内容/替换内容/g

如存在5的第一行所有的5替换为：6  
命令：

sed -i '0,/5/s/5/6/g' sedTest.sh

结果：  
![在这里插入图片描述][cd297d5d7c0c4c4b92bb5d656c9e222e.png]

#### 字符串替换-每次替换两行且只替换第一个匹配的字符串 ####

1,/待替换内容/s/待替换内容/替换内容/

如替换两行且只替换第一个匹配的ab为：yzh  
命令：

sed -i '1,/ab/s/ab/yzh/' sedTest.sh

结果：  
![在这里插入图片描述][627b7bd68ee64d74b72dcdf103c77bbc.png]

### 文件修改 ###

如修改文件内容的yzh为：ddd

#### 直接修改原文件 ####

命令：

sed -i 's/yzh/ddd/g' sedTest.sh

结果：  
![在这里插入图片描述][8cc0e27e0d174f8e80b5eec0bfbf5fda.png]  
可以看到修改了原文件内容，且没有其他文件产生

#### 修改文件内容，备份并重命名原文件（原文件名为修改后的文件内容） ####

命令：

sed -in-place -e 's/yzh/ddd/g' sedTest.sh

结果：  
![在这里插入图片描述][3d11bbfa98874e31a8027ed7f1b2f415.png]  
可以看到修改了文件内容，但是多出来一个文件sedTest.shn-place，并且该文件内容是修改之前的内容，所以是对修改前的文件备份  
![在这里插入图片描述][217a672a29574462a66ab0bb2b41d76b.png]

--------------------

## 问题 ##

### 1. 报错-mac上遇到的错误sed command a expects followed by text ###

在执行增加语句时  
![在这里插入图片描述][d97ac5fffe6d4a8f8c017d6a693695f3.png]

#### 原因 ####

由于mac系统与linux系统下sed用法的差异，（差异可自己在两个系统用man命令查看帮助）

#### 解决方法 ####

**1. mac上安装gnu-sed**

brew install gnu-sed

![在这里插入图片描述][1c5ef4fc467c4c94aa03c28767e943f7.png]

**2. 调整mac下sed的用法，使其与linux一致**

alias sed=gsed

![在这里插入图片描述][a978df5cb8cf45e8aad4eb3bb45918b8.png]

3.问题解决，再次执行会报错的语句就没问题了

### 2. 报错-sed throws ‘bad flag in substitute command’ ###

由于我这个问题无法复现了，也忘了当时具体的情况了，这里就直接放我当时解决参考的链接了

#### 解决方法 ####

[sed 在替代命令中抛出“错误标志”----sed throws ‘bad flag in substitute command’][sed _----sed throws _bad flag in substitute command]

### 3. Sed命令中含有转义字符的问题 ###

> 在sed命令中有许多的字符都被转义，比如\\ , $,^，单双引号还有点号等等，因此使用sed命令进行字符串的匹配和修改的时候，字符串中如果含有转义字符，很多情况下不能直接用字符本身表示。这时候可以使用反斜杠加上转义字符的方法来输出含转义字符的字符串，但这一方法并不是对所有的转义字符都有用，过程也较复杂。

如果你也遇到了类似的问题，那么可以参考这个链接：[Sed命令中含有转义字符的解决方法][Sed]

--------------------

由于做这个功能距今有几个月的时间了，当时具体遇到的问题，无法完全回想和复现了，就把当时参考的链接放给大家参考吧，当然如果有解决不了的问题，可以私信，我还是应该可以帮忙解决一下的！

[ec641f97cf33426dac460a9837dd543f.jpeg_pic_center]: https://img-blog.csdnimg.cn/ec641f97cf33426dac460a9837dd543f.jpeg#pic_center
[java_shell_shell]: https://kunzhi.blog.csdn.net/article/details/129227983
[c3531705ba444a45b40e8bcc2f6adfba.png]: https://img-blog.csdnimg.cn/c3531705ba444a45b40e8bcc2f6adfba.png
[386a1bc3865146ddbc82fdec1b908ed1.png]: https://img-blog.csdnimg.cn/386a1bc3865146ddbc82fdec1b908ed1.png
[4d26ce7c40c64abca57952f72c29d63d.png]: https://img-blog.csdnimg.cn/4d26ce7c40c64abca57952f72c29d63d.png
[b9eecb2cc1ec46c9be7cad03a2dd4bcf.png]: https://img-blog.csdnimg.cn/b9eecb2cc1ec46c9be7cad03a2dd4bcf.png
[45c77565c7ed497ab602dbf9d1f61585.png]: https://img-blog.csdnimg.cn/45c77565c7ed497ab602dbf9d1f61585.png
[f5c4401a2b7e461381db0079babe99df.png]: https://img-blog.csdnimg.cn/f5c4401a2b7e461381db0079babe99df.png
[a10489f53a3b4e71a6de9c3ee40ed713.png]: https://img-blog.csdnimg.cn/a10489f53a3b4e71a6de9c3ee40ed713.png
[e74541c282fa4b15b18a050518178656.png]: https://img-blog.csdnimg.cn/e74541c282fa4b15b18a050518178656.png
[7d0b742f36ce416db845f11bae9eb35b.png]: https://img-blog.csdnimg.cn/7d0b742f36ce416db845f11bae9eb35b.png
[7781ab5fceb740fd924810a6ff957573.png]: https://img-blog.csdnimg.cn/7781ab5fceb740fd924810a6ff957573.png
[f455d723aaa74f97a21a59da6582bce7.png]: https://img-blog.csdnimg.cn/f455d723aaa74f97a21a59da6582bce7.png
[1c02e563adb94396a3461b2ca79cbda5.png]: https://img-blog.csdnimg.cn/1c02e563adb94396a3461b2ca79cbda5.png
[5a536d3055d14dcf9d8831b62d4fd8e9.png]: https://img-blog.csdnimg.cn/5a536d3055d14dcf9d8831b62d4fd8e9.png
[b72c8867ef2d4cac9a273f843440f056.png]: https://img-blog.csdnimg.cn/b72c8867ef2d4cac9a273f843440f056.png
[cd297d5d7c0c4c4b92bb5d656c9e222e.png]: https://img-blog.csdnimg.cn/cd297d5d7c0c4c4b92bb5d656c9e222e.png
[627b7bd68ee64d74b72dcdf103c77bbc.png]: https://img-blog.csdnimg.cn/627b7bd68ee64d74b72dcdf103c77bbc.png
[8cc0e27e0d174f8e80b5eec0bfbf5fda.png]: https://img-blog.csdnimg.cn/8cc0e27e0d174f8e80b5eec0bfbf5fda.png
[3d11bbfa98874e31a8027ed7f1b2f415.png]: https://img-blog.csdnimg.cn/3d11bbfa98874e31a8027ed7f1b2f415.png
[217a672a29574462a66ab0bb2b41d76b.png]: https://img-blog.csdnimg.cn/217a672a29574462a66ab0bb2b41d76b.png
[d97ac5fffe6d4a8f8c017d6a693695f3.png]: https://img-blog.csdnimg.cn/d97ac5fffe6d4a8f8c017d6a693695f3.png
[1c5ef4fc467c4c94aa03c28767e943f7.png]: https://img-blog.csdnimg.cn/1c5ef4fc467c4c94aa03c28767e943f7.png
[a978df5cb8cf45e8aad4eb3bb45918b8.png]: https://img-blog.csdnimg.cn/a978df5cb8cf45e8aad4eb3bb45918b8.png
[sed _----sed throws _bad flag in substitute command]: https://stackoverflow.com/questions/17534840/sed-throws-bad-flag-in-substitute-command
[Sed]: https://www.cnblogs.com/zwldyt/p/12996846.html