UTF-8编码中的特殊空格之C2 A0 -＞ NO-BREAK SPACE

曾经终败给现在 2022-10-16 01:50 20阅读 0赞

# 异常数据追踪 #

最近发现数据库中的一个字段值数据异常的问题，业务场景中不允许这个字符串字段中出现空格，但是发现有部分数据依然有'空格'，反复验证过之后发现自己写的代码的的确确会把空格trim掉，反复调试后发现代码没有问题，但是什么情况使得这些数据逃过了业务代码的校验？

# 准备破案 #

难道我肉眼看到的'空格'，不是我们平常见到或者理解的'空格'？

带着这个疑问，我搜索了一下相关的问题，发现果不其然，很多人都遇到了C2 A0这个不可见字符，那么这个字符到底是什么呢？

打开UTF-8的编码表，[https://www.utf8-chartable.de/unicode-utf8-table.pl?utf8=dec][https_www.utf8-chartable.de_unicode-utf8-table.pl_utf8_dec] 找到对应的字符

首先明确C2 A0代表的编码序号是多少，很显然我们只需要将这个十六进制转为十进制，即C2=194 A0=160，这个在编码表中对应的是

<table> 
 <tbody> 
 <tr> 
 <td>U+00A0</td> 
 <td>&nbsp;</td> 
 <td>194 160</td> 
 <td>NO-BREAK SPACE</td> 
 </tr> 
 </tbody> 
</table>

而我们一般意义上将的空格的编码是32

<table> 
 <tbody> 
 <tr> 
 <td>U+0020</td> 
 <td>&nbsp;</td> 
 <td>32</td> 
 <td>SPACE</td> 
 </tr> 
 </tbody> 
</table>

那们我们通过代码来模拟一下上面两个字符

## 普通的空格 Unicode code point为U+0020即32 ##

![36a901b5490abf73af05c54a1482e668.png][]

## C2 A0空格 Unicode code point为U+00A0即160 ##

![05b50a5343ae55b12168b530dbf779d2.png][]

找到原因之后，我们想办法把这种C2 A0空格给去除掉

源代码见下

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 </td> 
 <td> <code>package</code>&nbsp;<code>com.lingyejun.dating.chap11;</code> &nbsp; <code>import</code>&nbsp;<code>java.nio.charset.StandardCharsets;</code> <code>import</code>&nbsp;<code>java.util.regex.Matcher;</code> <code>import</code>&nbsp;<code>java.util.regex.Pattern;</code> &nbsp; <code>public</code>&nbsp;<code>class</code>&nbsp;<code>SpecialSpace { </code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code>&nbsp;<code>static</code>&nbsp;<code>void</code>&nbsp;<code>main(String[] args) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String str1 =&nbsp;</code><code>"lingyejun "</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>byte</code><code>[] str1Bytes = str1.getBytes();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String space =&nbsp;</code><code>new</code>&nbsp;<code>String(str1Bytes, StandardCharsets.UTF_8);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"带有32 Space的字符串:"</code>&nbsp;<code>+ space);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"使用trim去掉32 -&gt; Space:"</code>&nbsp;<code>+ space.trim());</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>byte</code><code>[] str2Bytes =&nbsp;</code><code>new</code>&nbsp;<code>byte</code><code>[</code><code>11</code><code>];</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.arraycopy(str1Bytes,&nbsp;</code><code>0</code><code>, str2Bytes,&nbsp;</code><code>0</code><code>, str1Bytes.length);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>str2Bytes[</code><code>9</code><code>] = (</code><code>byte</code><code>)&nbsp;</code><code>0xC2</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>str2Bytes[</code><code>10</code><code>] = (</code><code>byte</code><code>)&nbsp;</code><code>0xA0</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String noBreakSpace =&nbsp;</code><code>new</code>&nbsp;<code>String(str2Bytes, StandardCharsets.UTF_8);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"带有C2 A0 -&gt; NO-BREAK SPACE的字符串:"</code>&nbsp;<code>+ noBreakSpace);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"使用trim无法去掉C2 A0 -&gt; NO-BREAK SPACE:"</code>&nbsp;<code>+ noBreakSpace.trim());</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>// 32为我们平常谈论的Space空格 -&gt; SPACE</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>byte</code><code>[] bytes1 =&nbsp;</code><code>new</code>&nbsp;<code>byte</code><code>[]{(</code><code>byte</code><code>)&nbsp;</code><code>0x20</code><code>};</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String space1 =&nbsp;</code><code>new</code>&nbsp;<code>String(bytes1, StandardCharsets.UTF_8);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"UTF-8 字符编码号32 -&gt; 0x1F 输出:"</code>&nbsp;<code>+ space1);</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>// 0xC2=194 0xA0=160&nbsp; -&gt; NO-BREAK SPACE</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>byte</code><code>[] bytes2 =&nbsp;</code><code>new</code>&nbsp;<code>byte</code><code>[]{(</code><code>byte</code><code>)&nbsp;</code><code>0xC2</code><code>, (</code><code>byte</code><code>)&nbsp;</code><code>0xA0</code><code>};</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String space2 =&nbsp;</code><code>new</code>&nbsp;<code>String(bytes2, StandardCharsets.UTF_8);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>char</code><code>[] chars3 = space2.toCharArray();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"UTF-8 字符编码号194 -&gt; 0xC2 160 -&gt; 0xA0 输出:"</code>&nbsp;<code>+ space2);</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>byte</code><code>[] bytes3 =&nbsp;</code><code>new</code>&nbsp;<code>byte</code><code>[]{(</code><code>byte</code><code>)&nbsp;</code><code>0xC2</code><code>, (</code><code>byte</code><code>)&nbsp;</code><code>0xA0</code><code>};</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String c2a0Space =&nbsp;</code><code>new</code>&nbsp;<code>String(bytes3, StandardCharsets.UTF_8);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Pattern p = Pattern.compile(c2a0Space);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Matcher m =&nbsp;</code><code>null</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>m = p.matcher(noBreakSpace);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>noBreakSpace = m.replaceAll(</code><code>""</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"使用正则去掉C2 A0 -&gt; NO-BREAK SPACE:"</code>&nbsp;<code>+ noBreakSpace);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

如果对您有帮助，请不要忘了给翎野君点赞。

[https_www.utf8-chartable.de_unicode-utf8-table.pl_utf8_dec]: https://www.utf8-chartable.de/unicode-utf8-table.pl?utf8=dec
[36a901b5490abf73af05c54a1482e668.png]: /images/20221014/eb9a2ad50f6348c9800b1c9a6db20476.png
[05b50a5343ae55b12168b530dbf779d2.png]: /images/20221014/0c832005a3dd4172a9e00e69c5104305.png