win10 Python读取文件编码问题

川长思鸟来 2023-02-19 14:29 65阅读 0赞

UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xaf in position 34: illegal multibyte sequence  
原始读取代码：

with open(file, 'r') as f:
            for line in f:
                line = line.strip().split("\t")
                en.append(["BOS"] + nltk.word_tokenize(line[0].lower()) + ["EOS"])
                cn.append(["BOS"] + [c for c in line[1]] + ["EOS"])
        return en, cn

这个时候默认的编码方式是gbk，也就是`with open(file, 'r'，encoding='gbk') as f:`  
首先我们看看文件的编码方式：（win10）  
打开文件-另存为-  
![在这里插入图片描述][20200621104746995.png]  
下面可以看到编码方式为utf-8  
将原始代码修改为：`with open(file, 'r', encoding='utf-8') as f:`即可  
如果还是不行的话：`with open(file, 'r', encoding='utf-8', errors='ignore') as f:`即可  
参考：  
https://blog.csdn.net/lzbmc/article/details/89177359  
关于编码方式：  
GBK：是一种**汉字**编码，包括繁体字  
GB18030：在GBK基础上继续扩展生僻字和日文、朝鲜语等的编码，**兼容GBK**  
（GB2312过时标准、GBK微软标准、GB18030国家标准。GB18030收录的汉字最多）  
除了上述两种编码方式兼容外，下面的编码方式都不兼容，因此上面需要修改编码方式  
BIG5：统一繁体字编码,要转码成GB18030或者GBK才能显示成简体中文  
UTF-8: 包含全世界所有国家需要用到的字符。

[20200621104746995.png]: https://img-blog.csdnimg.cn/20200621104746995.png

发表评论取消回复

表情：

评论列表（有 0 条评论，65人围观）

还没有评论，来说两句吧...

相关阅读

相关 win10 Python读取文件编码问题

UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xaf in position 34: illegal multibyte

川长思鸟来/ 2023年02月19日 14:29/ 0 赞/ 66 阅读

相关 win10共享文件

参考博客： 1.[博客][Link 1] 2.[博客][Link 2] ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk

￡神魔★判官ぃ/ 2023年01月07日 03:56/ 0 赞/ 264 阅读

相关读取文件报编码错误

读取文件报编码错误 1. 问题描述读取文件报告: > ‘gbk’ codec can’t decode byte 0xad in position 2: ill

痛定思痛。/ 2022年12月29日 00:21/ 0 赞/ 205 阅读

相关 win7,win10 显示文件扩展名

1. 如果系统是win7的话，步骤如下： 1）选择组织菜单中的“文件夹和搜索选项”， ![Center][]![Image 1]

￡神魔★判官ぃ/ 2022年07月15日 01:12/ 0 赞/ 351 阅读

相关 win10 打开hlp文件

解决办法：[https://appuals.com/how-to-read-hlp-files-in-windows-10/][https_appuals.com_how-to

红太狼/ 2022年07月13日 13:59/ 0 赞/ 350 阅读

相关 win10安装msi文件

笃信好学，自然宽和日前在win10系统中安装MySQL，下载了msi文件，刚开始安装就提示：2503错误，百度了半天，原来是权限不够，非管理员权限不能安装。 m

女爷i/ 2022年05月31日 07:16/ 0 赞/ 376 阅读

相关 python 文件读取

读取整个文件操作文件的第一步就是得打开要操作的文件，然后进行读取。在python中我们可以使用open函数来打开一个文件，然后使用read方法来读取文件。

太过爱你忘了你带给我的痛/ 2022年05月19日 10:53/ 0 赞/ 384 阅读

相关 Python读取数据编码排错

> 在Python开发中，当需要读取某些数据文件或者获取某些数据时，很有可能会遇到因为编码不匹配而报错的情况。这类问题其实非常常见，主要原因，还是因为没有选择正确的编码来识别所

﹏ヽ暗。殇╰゛Y/ 2022年03月21日 05:38/ 0 赞/ 276 阅读

相关读取properties文件时编码错误

指定编码格式 <context:property-placeholder location="classpath:\.properties" file-encoding

ゝ一纸荒年。/ 2021年12月20日 01:51/ 0 赞/ 314 阅读

相关 python读取csv编码问题

python读取csv编码问题主要参考[https://www.cnblogs.com/shengulong/p/7097869.html][https_www.cnblo

深碍√TFBOYSˉ_/ 2021年09月30日 11:52/ 0 赞/ 735 阅读