关于编码你必须知道的知识和技巧

乱码问题是所有运维职业生涯中都会遇到的问题,本篇文章带你探究背后的原理以及解决的技巧

字符编码

我们知道计算机只认识二进制数据,其他格式的数据都需要转换成二进制才能被计算机处理,也就是说我们在计算机上看到的文本、视频、可执行程序等格式的文件,最终都会转换成二进制数据交给计算机处理

计算机中最小的数据单位是bit,也叫二进制位,每一个bit都有0和1两种状态,最早的计算机在设计时采用了8个bit作为一个字节byte,所以一个字节能表示的最大整数就是二进制的11111111,等于十进制的255,想要表示更大的整数就必须要用多个字节,例如两个字节可以表示最大的整数就是二进制的1111111111111111,等于十进制的65535

由于计算机是由美国人发明的,在1967年美国人制订了一套字符编码规范,规定了包含大小写字母、数字和一些符号共计128个字符与二进制数字的对应关系,例如回车Enter是二进制是00001101,等于十进制的13,大写字母A是二进制01000001,等于十进制的65,这一套字符编码被称为ASCII码,一直沿用至今

英文比较简单,用128个符号编码就够了,但是用来表示中文就不够了,单单汉字就有超过8万个,所以就有了针对中文的编码标准出现,例如我们经常见到的GB2312,使用两个字节表示一个汉字,理论上最多可以表示65535个

世界上有上百种语言,每种语言都有自己的编码标准,例如韩文编码EUC_KR,日文编码Shift_JIS,俄文编码KOI8-R,为了促进互联网的发展,Unicode编码应运而生,Unicode编码又称万国码、国际码,它对世界上大部分的文字系统进行了整理,使每一个文字符号都有独一无二的编码表示,当前Unicode最新的版本为2019年5月公布的12.1.0,已经收录超过13万个字符,很明显2个字节已经无法保证所有字符都独一无二了,实际上最新的Unicode规定可以占用4字节来表示一个字符,理论上最多能表示2的31次方共计2147483648个字符

Unicode虽然能够解决不同编码出现的问题,使得电脑可以用更为简单的方式来呈现和处理文字,但同时存在着浪费存储和带宽的问题,例如大写字母A,用ASCII码表示是01000001,只需要占一个字节,如果转换成2个字节的Unicode编码就变成了0000000001000001,这就极大的浪费了存储空间,同时对于网络传输消耗也相应增大

为了解决Unicode的问题,UTF-8编码方式出现了,UTF-8是一种可变长的编码方式,它通过前缀码的方式使Unicode编码变成了可变长度,关于UTF-8的具体前缀规则简单总结为2点如下:

  1. 单字节的字符,字节的第一位设为0,后边7位为Unicode码。对于英语字母,UTF-8编码和ASCII码完全相同
  2. n个字节的字符(n>1),第一个字节的前n位设为1,第n+1位设为0,后面字节的前两位都设为10,这n个字节的其余空位填充该字符unicode码,不足用0补足

那就形成了如下的UTF-8编码规则,其中的x表示的就是要用Unicode填充可用的编码位

Unicode符号范围(16进制)UTF-8编码方式(2进制)
0000 0000 – 0000 007F0xxxxxxx
0000 0080 – 0000 07FF110xxxxx 10xxxxxx
0000 0800 – 0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000 – 0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

对于运维咖啡吧的字,其Unicode编码为U+54965496在上边的第三行0000 0800 - 0000 FFFF的范围内,因此带入公式计算如下

    0101   010010   010110 (最前边的0便是unicode不足,用0代替)
1110xxxx 10xxxxxx 10xxxxxx (模板,由于3字节,所以是上边第三行)
------------------------------------------------------------------
11100101 10010010 10010110 (结果,UTF-8的二进制值)

根据上边的计算结果得出运维咖啡吧的字UTF-8编码是111001011001001010010110,转换为16进制为E59296

这便是Unicode与UTF-8的区别,UTF-8可变长就是这么可变长的,对于英文字母来说UTF-8只占一个字节,而对于汉字来说他可能就占了3个字节

终端乱码

从上边的编码介绍中我们已经知道了不同编码的存在,那么想要查看一个文件,就必须知道他的编码方式,用错误的编码方式打开文件就会出现乱码。

linux下可以通过file命令查看文件的编码方式

# file ops-coffee.cn 
ops-coffee.cn: UTF-8 Unicode text

工作中我们在XSHELL之类的终端中查看文件时出现的乱码就是系统或文件保存的中文编码与终端设置的编码不一致,从而导致解码错误。这里涉及到三方编码:

  1. 文件内容或文件名
  2. SHELL环境的语言编码
  3. XSHELL之类的终端编码

需要保持三方编码统一,才不会有乱码的出现,其中SHELL环境的语言编码指的是登陆服务器的SHELL环境时指定的语言编码,例如LANGLC_*这些变量设置的编码,XSHELL之类终端编码就是这类终端软件设置的编码

关于编码你必须知道的知识和技巧

所有遇到的乱码问题都仔细检查以上三方编码是否一致,就可以顺利解决了,同时也建议在工作中制定相应的规范,减少乱码的发生

处理技巧

1.临时切换命令输出语言

正常情况下命令的输出结果都遵循系统设置的语言编码,例如

root@ops-coffee:~# echo $LANG
zh_CN.UTF-8
root@ops-coffee:~# date
2020年 03月 04日 星期三 19:00:55 HKT
root@ops-coffee:~# 
root@ops-coffee:~# 
root@ops-coffee:~# export LANG=en_US.UTF-8
root@ops-coffee:~# echo $LANG
en_US.UTF-8
root@ops-coffee:~# date
Wed Mar  4 19:01:21 HKT 2020

运维脚本中,我们希望所有系统执行相同命令的时候输出的结果一致,不要因为字符集不同而产生不同的结果,那么如可处理呢?在命令前添加LC_ALL=C

root@ops-coffee:~# date
2020年 03月 04日 星期三 19:05:58 HKT
root@ops-coffee:~# 
root@ops-coffee:~# LC_ALL=C date
Wed Mar  4 19:06:05 HKT 2020

这里之所以用LC_ALL是因为在LOCALE标准中,LC_ALL优先级最高:LC_ALL>LC_*>LANG

2.批量转换文件名编码

有时候我们会遇到文件名或者目录名乱码的问题,尤其是在不同类型系统之间传输时,可以借助rsync实现批量转换文件名或目录名的编码

rsync -av --iconv=GBK,UTF8 /www/ /nav/

iconv模块在rsync的3.0以后版本中才支持,用法为--iconv=<LOCAL>,<REMOTE>,需要注意的是,本地两个目录之间同步时LOCAL表示的是源目录的文件名编码,通过网络同步时LOCAL表示本地编码

文章来源:https://www.cnaaa.net,转载请注明出处:https://www.cnaaa.net/archives/6639

(0)
郭靖的头像郭靖
上一篇 2023年1月16日 下午4:16
下一篇 2023年1月17日 下午4:52

相关推荐

  • 如何修改ftp服务器密码,ftp密码,3种修改ftp密码的方法

    大家好,又见面了,我是你们的朋友全栈君。 其实FTP服务就相当于共享文件,你要进入FTP服务器首先要知道提供FTP这台电脑的IP或者域名。FTP服务器是可以随意设置访问的用户名和密码的,当然也可以设置匿名访问(设置了匿名访问,用户就不需要输用户名和密码了) IIS7服务器管理工具可以批量管理、定时上传下载、同步操作、数据备份、到期提醒、自动更新。IIS7服务…

    2024年7月2日
    30300
  • Windows设置多用户同时远程登录

    在我们日常使用Windows系统的服务器时,有时候一台服务器需要多用户同时在线使用,但是Windows系统默认的是单用户模式的,不过它也支持多用户同时在线,就是需要我们去设置一下即可: 1、在键盘上按Win+R键(也可以在开始菜单右键然后选择运行),在运行的输入框里面输入”gpedit.msc”命令、然后点击确定 2、在“计算机组策略…

    2022年6月14日
    90400
  • Centos在dracut模式下如何修改系统配置文件

    1、进入dracut原因 Centos系统进入dracut的原因有很多比如:系统重要文件丢失系统配置文件配置错误等 2、恢复系统文件 2.1、dracut环境 在dracut上下文中是无法看到Centos系统文件的dracut# 2.2、找到系统盘 Centos默认安装时,系统盘是一个lv设备 如果安装时,手动修改了分区,那么可以根据实际情况找到系统设备比如…

    2023年6月12日
    40000
  • Route命令详解

    route命令用来显示并设置Linux内核中的网络路由表,route命令设置的路由主要是静态路由。要实现两个不同的子网之间的通信,需要一台连接两个网络的路由器,或者同时位于两个网络的网关来实现。 在Linux系统中设置路由通常是为了解决以下问题:该Linux系统在一个局域网中,局域网中有一个网关,能够让机器访问Internet,那么就需要将这台机器的ip地址…

    2023年4月7日
    27600
  • 如何解决Windows server系统开机自动进入修复模式而无法正常启动的问题

    相信大家都会碰到这样一个问题,Windows系统重启之后自动进入修复而不去正常启动,如下图 那么我们该如何去解决呢 第一步:根据它的选项,进入到修复模式,然后点击下一步 第二步:输入登录的账户密码,然后就会有三个系统恢复的选项,我们选择命令提示符,依次输入以下命令 然后等待出现以下信息 到此,我们重新启动系统,就可以正常进入到桌面系统了,如果你想之后的系统重…

    2022年6月13日
    1.7K00

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

在线咨询: QQ交谈

邮件:712342017@qq.com

工作时间:周一至周五,8:30-17:30,节假日休息

关注微信