为啥妹子给我发的 Excel 打开之后是乱码？

Dear 丶 2022-11-15 11:52 34阅读 0赞

![3eb0d85a9753e63e80b1b7a96e06b0ec.png][]

![3336b73379933d5181624f3101a2c720.png][]

咳咳

人生的三大错觉之一

就是**她喜欢我**

![6c175f57cbb09695bfaef7ae477dd72c.png][]

为了解开粉丝的疑惑

让他面对现实

今天我就来给大家揭秘

乱码背后那些不为人知的事

![481b457e528ae05ec6de1056e9088349.png][]

首先

我们要意识到

『乱码』

本质上是**编码与解码的方式不一致**

![b08713d869870274538387ddd8daf1d8.png][]

举个例子

当用拼音的方式来解读英文

![d74b1c8d3309ad1823372ae0530cf6b9.png][]

事实上

Excel 对中文的解析编码

默认是 **GBK**

![a19abccf4500056bbe878b3fa287a4b9.png][]

所以

当有人把 **UTF-8** 编码的 Excel 文件发给你

Excel 默认会用 **GBK** 去解析

双击打开

出现一大坨乱码

其实是很正常滴

才不是有什么隐含信息呢

![9435f3f4733c5ea49d172002022bd05e.png][]

那么遇到这种问题该怎么解决呢？

![14e03919030e662ea3f7abcea914857c.png][]

知道了乱码产生的原理是

**读取的编码方式与写入时不一致**

那么解决办法就很简单了

(把读取的编码方式改为 UTF-8)

![00b64579b9176ef4bb0fede423fc3c52.png][]

![c1f371f641f0e80e5c4f205aa9e7f0ee.png][]

因为 Numbers 默认是 **UTF-8**

所以不会显示乱码

![9af3310dd8a9f17f334fa7f4b779ee94.png][]

什么？你说就这？

作为程序员

当然还有更装逼的办法

当然还有更加极客的办法

(把文件转为 GBK)

iconv -f UTF-8 -t GB18030 test.csv > test2.csv

![11c263d94c10f6d64ee215f6244dae4a.png][]

轻松搞定

![e801f9853fbee7eb382ee1745bcb9193.png][]

既然讲到这了

那就再讲讲 **UTF-8** 到底是个什么东东

(非战斗人员可以撤离了)

![788e388be9fd503a09e56c93e541f0b7.png][]

首先，我们都知道

计算机起源于美国

他们用二进制来存储数据

![f0e3dad7597a3d619a8d5ff665c094ab.png][]

每一个 0 或 1 称为**一位**

![29035e764e28d3b719a216b483828033.png][]

而八位就组成了一个**字节**

![dfc91db6c98233af423b4298ff41cd46.png][]

每一位能标识两种状态

每个字节则能标识 2^8 = 256 种状态

那么这些状态有啥用呢？

![eb80c0a4e9adfdec0693a939058e55df.png][]

美国人把 **0 - 127** 这 128 个状态

都映射到各种字符上

包括**大小写英文字母、标点符号、数字**等

这就是常说的 **ASCII** 字符集

![2730c82958049a2b9739d9a33415cfc6.png][]

后来

随着其他国家开始使用计算机

ASCII 里没有他们的字母

他们便利用起剩下的 128 - 255 位

这被称为 **ASCII 拓展字符集**

然而

事情并没有这么简单

等到中国人开始使用计算机时

已经没有多余的位置了

咋办呢？

![4425b96dd2969e6b3e2cda44532f2ca3.png][]

智慧的中国人民

毫不客气地去掉了127 位之后的编码

**用 2 个字节来编码一个汉字**

这样一来

7000 多常用汉字的编码问题就解决了

这就是 **GB2312 编码**

它是对 ASCII 的中文拓展

![b667abb47c81a4d50ccdfdf05e9c0047.png][]

但汉字实在太多了

GB2312 不够用了咋办呢

这个问题充钱(拓展)就能解决

![dd2206e46c471543e36aa9f2e3813e9c.png][]

这回拓展出了**GBK**

不仅包含 GB2312 所有内容

还包含了 20000 多个

新的汉字(含繁体字)

![5fc078fa7ee6cc746bc67616fb9b8e40.png][]

再后来少数民族也要用电脑了

GBK 又拓展成了 **GB18030**

这一系列汉字编码标准被通称为

**DBCS**

![20a1a0987369d700148d160cd4af9500.png][]

中国人的编码问题解决了

但日本、韩国各自的编码问题咋办呢？

他们也各自搞了一套自己的编码标准

结果就是

**谁也不支持谁**

![87b765683d23ba6b48e6dc1958c4691c.png][]

兼容性问题眼看着愈来愈严重

这可咋办呢？

这时

**Unicode**

闪亮登场

![8b257a074519ae9d9c3b8781aa3037f7.png][]

Unicode 的制定就是为了

将世界上所有的符号都纳入其中

每一个符号都给予一个独一无二的编码

如此一来就可以**解决乱码问题**

(虽然到现在并没有解决)

这就是字符集的发展过程

![327449d828d10c1393dc1972e3d04b51.png][]

回到 UTF-8

它其实是 Unicode 字符集的一种编码方式

![ab71b26cb6460eefae30166f364864e0.png][]

UTF-8 由

**肯·汤普逊**

和

**罗勃 · 派克**

发明

![aa99b6b623cfc0fcfe01c3428c2458b6.png][]

其中

**肯·汤普逊** 是名副其实的大佬

![9cfbbf1a47044cb9c514ffdbb757ecac.png][]

![91728852877a2bf76870f6a9c9688b93.png][]

听听

这是人话吗

![df4a894bb5a4c9dd507a42df9d7edae9.png][]

知道了 UTF-8 的来历

那么 UTF-8 具体是怎么编码的呢？

![f5407013944a7b8ced71a86997e2a828.png][]

UTF-8 作为一种可变长的编码方式

也就是说

**不同的字符占用的字节数不同**

2003年11月

UTF-8 被 **RFC 3629** 重新规范后

使用 1- 4个字节来进行编码

规则其实很简单

![c40ead18a0398ec8c901920e678df638.png][]

看不懂没关系

来看几个例子

![a2fadca85d712046ebbb87bb45b24918.png][]

![8cbcd1cb7e65397c59094ac90e727677.png][]

按照不同的编码方式

同一句话被编码后的 01 字符串不同

(正如我们前面所说的 UTF-8 和 GBK)

![507ec0989faea8ee0ee9681c78ea4dca.png][]

是不是很简单

什么？

你说还没看懂？

![9ea64348d060caf8131c4491cc2b8906.png][]

![d84bb921f5c3361989120fc07bb8fd7a.gif][]

················· END ·················

参考及拓展阅读
    [1] Unicode 字符查询地址：https://unicode-table.com/cn/
    [2] 码农翻身《编码的故事》: https://mp.weixin.qq.com/s/ejxh9wghrj6WepSSCL4-9A

## 往期推荐 ##

[![e9ee3f3c6759269928aa03202f753ad1.png][]][e9ee3f3c6759269928aa03202f753ad1.png 1]

[![9b6f95d1dcf356dbafbe582fce455347.png][]][9b6f95d1dcf356dbafbe582fce455347.png 1]

[![71a99aec49c98183cc91f253c2e4e575.png][]][71a99aec49c98183cc91f253c2e4e575.png 1]

![283e4f88a8ee179632262adc42edd8a1.png][]

[3eb0d85a9753e63e80b1b7a96e06b0ec.png]: /images/20221022/4500485ae3414b7d9b66a74467b114c3.png
[3336b73379933d5181624f3101a2c720.png]: https://img-blog.csdnimg.cn/img_convert/3336b73379933d5181624f3101a2c720.png
[6c175f57cbb09695bfaef7ae477dd72c.png]: https://img-blog.csdnimg.cn/img_convert/6c175f57cbb09695bfaef7ae477dd72c.png
[481b457e528ae05ec6de1056e9088349.png]: https://img-blog.csdnimg.cn/img_convert/481b457e528ae05ec6de1056e9088349.png
[b08713d869870274538387ddd8daf1d8.png]: https://img-blog.csdnimg.cn/img_convert/b08713d869870274538387ddd8daf1d8.png
[d74b1c8d3309ad1823372ae0530cf6b9.png]: https://img-blog.csdnimg.cn/img_convert/d74b1c8d3309ad1823372ae0530cf6b9.png
[a19abccf4500056bbe878b3fa287a4b9.png]: https://img-blog.csdnimg.cn/img_convert/a19abccf4500056bbe878b3fa287a4b9.png
[9435f3f4733c5ea49d172002022bd05e.png]: https://img-blog.csdnimg.cn/img_convert/9435f3f4733c5ea49d172002022bd05e.png
[14e03919030e662ea3f7abcea914857c.png]: https://img-blog.csdnimg.cn/img_convert/14e03919030e662ea3f7abcea914857c.png
[00b64579b9176ef4bb0fede423fc3c52.png]: https://img-blog.csdnimg.cn/img_convert/00b64579b9176ef4bb0fede423fc3c52.png
[c1f371f641f0e80e5c4f205aa9e7f0ee.png]: https://img-blog.csdnimg.cn/img_convert/c1f371f641f0e80e5c4f205aa9e7f0ee.png
[9af3310dd8a9f17f334fa7f4b779ee94.png]: https://img-blog.csdnimg.cn/img_convert/9af3310dd8a9f17f334fa7f4b779ee94.png
[11c263d94c10f6d64ee215f6244dae4a.png]: https://img-blog.csdnimg.cn/img_convert/11c263d94c10f6d64ee215f6244dae4a.png
[e801f9853fbee7eb382ee1745bcb9193.png]: https://img-blog.csdnimg.cn/img_convert/e801f9853fbee7eb382ee1745bcb9193.png
[788e388be9fd503a09e56c93e541f0b7.png]: https://img-blog.csdnimg.cn/img_convert/788e388be9fd503a09e56c93e541f0b7.png
[f0e3dad7597a3d619a8d5ff665c094ab.png]: https://img-blog.csdnimg.cn/img_convert/f0e3dad7597a3d619a8d5ff665c094ab.png
[29035e764e28d3b719a216b483828033.png]: https://img-blog.csdnimg.cn/img_convert/29035e764e28d3b719a216b483828033.png
[dfc91db6c98233af423b4298ff41cd46.png]: https://img-blog.csdnimg.cn/img_convert/dfc91db6c98233af423b4298ff41cd46.png
[eb80c0a4e9adfdec0693a939058e55df.png]: https://img-blog.csdnimg.cn/img_convert/eb80c0a4e9adfdec0693a939058e55df.png
[2730c82958049a2b9739d9a33415cfc6.png]: https://img-blog.csdnimg.cn/img_convert/2730c82958049a2b9739d9a33415cfc6.png
[4425b96dd2969e6b3e2cda44532f2ca3.png]: https://img-blog.csdnimg.cn/img_convert/4425b96dd2969e6b3e2cda44532f2ca3.png
[b667abb47c81a4d50ccdfdf05e9c0047.png]: https://img-blog.csdnimg.cn/img_convert/b667abb47c81a4d50ccdfdf05e9c0047.png
[dd2206e46c471543e36aa9f2e3813e9c.png]: https://img-blog.csdnimg.cn/img_convert/dd2206e46c471543e36aa9f2e3813e9c.png
[5fc078fa7ee6cc746bc67616fb9b8e40.png]: https://img-blog.csdnimg.cn/img_convert/5fc078fa7ee6cc746bc67616fb9b8e40.png
[20a1a0987369d700148d160cd4af9500.png]: https://img-blog.csdnimg.cn/img_convert/20a1a0987369d700148d160cd4af9500.png
[87b765683d23ba6b48e6dc1958c4691c.png]: https://img-blog.csdnimg.cn/img_convert/87b765683d23ba6b48e6dc1958c4691c.png
[8b257a074519ae9d9c3b8781aa3037f7.png]: https://img-blog.csdnimg.cn/img_convert/8b257a074519ae9d9c3b8781aa3037f7.png
[327449d828d10c1393dc1972e3d04b51.png]: https://img-blog.csdnimg.cn/img_convert/327449d828d10c1393dc1972e3d04b51.png
[ab71b26cb6460eefae30166f364864e0.png]: https://img-blog.csdnimg.cn/img_convert/ab71b26cb6460eefae30166f364864e0.png
[aa99b6b623cfc0fcfe01c3428c2458b6.png]: https://img-blog.csdnimg.cn/img_convert/aa99b6b623cfc0fcfe01c3428c2458b6.png
[9cfbbf1a47044cb9c514ffdbb757ecac.png]: https://img-blog.csdnimg.cn/img_convert/9cfbbf1a47044cb9c514ffdbb757ecac.png
[91728852877a2bf76870f6a9c9688b93.png]: https://img-blog.csdnimg.cn/img_convert/91728852877a2bf76870f6a9c9688b93.png
[df4a894bb5a4c9dd507a42df9d7edae9.png]: https://img-blog.csdnimg.cn/img_convert/df4a894bb5a4c9dd507a42df9d7edae9.png
[f5407013944a7b8ced71a86997e2a828.png]: https://img-blog.csdnimg.cn/img_convert/f5407013944a7b8ced71a86997e2a828.png
[c40ead18a0398ec8c901920e678df638.png]: https://img-blog.csdnimg.cn/img_convert/c40ead18a0398ec8c901920e678df638.png
[a2fadca85d712046ebbb87bb45b24918.png]: https://img-blog.csdnimg.cn/img_convert/a2fadca85d712046ebbb87bb45b24918.png
[8cbcd1cb7e65397c59094ac90e727677.png]: https://img-blog.csdnimg.cn/img_convert/8cbcd1cb7e65397c59094ac90e727677.png
[507ec0989faea8ee0ee9681c78ea4dca.png]: https://img-blog.csdnimg.cn/img_convert/507ec0989faea8ee0ee9681c78ea4dca.png
[9ea64348d060caf8131c4491cc2b8906.png]: https://img-blog.csdnimg.cn/img_convert/9ea64348d060caf8131c4491cc2b8906.png
[d84bb921f5c3361989120fc07bb8fd7a.gif]: https://img-blog.csdnimg.cn/img_convert/d84bb921f5c3361989120fc07bb8fd7a.gif
[e9ee3f3c6759269928aa03202f753ad1.png]: https://img-blog.csdnimg.cn/img_convert/e9ee3f3c6759269928aa03202f753ad1.png
[e9ee3f3c6759269928aa03202f753ad1.png 1]: http://mp.weixin.qq.com/s?__biz=MzU2MTU2NzQwMQ%3D%3D&chksm=fc7780b1cb0009a71b0d3b6074ac45a7fac1d49f0aa22c6a580a5b0e247d61c2619f03e7f3f5&idx=1&mid=2247484279&scene=21&sn=b86adf32ac1daf5f118e47c7d9362dfc#wechat_redirect
[9b6f95d1dcf356dbafbe582fce455347.png]: https://img-blog.csdnimg.cn/img_convert/9b6f95d1dcf356dbafbe582fce455347.png
[9b6f95d1dcf356dbafbe582fce455347.png 1]: http://mp.weixin.qq.com/s?__biz=MzU2MTU2NzQwMQ%3D%3D&chksm=fc7786c9cb000fdf28ccc27909f8ca792945ab46a381db6cd0e18f3a08156f0cba255c0ce488&idx=1&mid=2247484687&scene=21&sn=3d42902bcacf2c85b5231b77f642a9a0#wechat_redirect
[71a99aec49c98183cc91f253c2e4e575.png]: https://img-blog.csdnimg.cn/img_convert/71a99aec49c98183cc91f253c2e4e575.png
[71a99aec49c98183cc91f253c2e4e575.png 1]: http://mp.weixin.qq.com/s?__biz=MzU2MTU2NzQwMQ%3D%3D&chksm=fc778268cb000b7e3a40b030809eb1357bfbdb10a4268150961e96848d7cc5359a459ceb342a&idx=1&mid=2247483822&scene=21&sn=36e7c4fa0a995b3119f4c7c9520f56d0#wechat_redirect
[283e4f88a8ee179632262adc42edd8a1.png]: https://img-blog.csdnimg.cn/img_convert/283e4f88a8ee179632262adc42edd8a1.png