php UTF-8、Unicode和BOM问题


Posted in PHP onMay 18, 2010

一、介绍

UTF-8 是一种在web应用中经常使用的一种 Unicode 字符的编码方式,使用 UTF-8 的好处在于它是一种变长的编码方式,对于 ANSII 码编码长度为1个字节,这样的话在传输大量 ASCII 字符集的网页时,可以大量节约网络带宽。
UTF-8签名(UTF-8 signature)也叫做BOM(Byte Order Mark),是UTF编码方案里用于标识编码的标准标记。BOM,是UTF编码方案里用于标识编码的标准标记,在UTF-16里本来是FF FE,变成UTF-8就成了EF BB BF。这个标记是可选的,因为UTF8字节没有顺序,所以它可以被用来检测一个字节流是否是UTF-8编码的。微软做这种检测,但有些软件不做这种检测,而把它当作正常字符处理。微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节, windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的, 然而这个只是微软暗自作的标记, 其它平台上并没有对UTF-8文本文件做个这样的标记。也就是说一个UTF-8文件可能有BOM,也可能没有BOM。
只有一个BOM,是不会有问题的。如果多个文件设置了签名,在二进制流中就会包含多个UTF-8签名,也就是导致XML转换失败的"root element must be well-formed"原因。

二、查看和转换

既然一个UTF-8文件可能有BOM,也可能没有,那该如何区分呢?
只要用带十六进制编辑方式的软件,例如,用UltraEdit-32打开文件,切换到十六进制编辑模式,察看文件头部是否有EF BB BF。有,则为带BOM方式。
Windows自带的notepad记事本,保存为UTF-8时,默认就带BOM。
转换的方法有很多,常见的UltraEdit-32或NotePad++都可以,以UltraEdit-32为例。打开文件后,选择“另存为”,在“格式”一栏中有如下选择:

php UTF-8、Unicode和BOM问题

另外,DreamWeaver CS3也有类似的选项,在“首选项”中,如果选择 Unicode (UTF-8) 作为默认编码,则可以选择“包括 Unicode 签名 (BOM)”选项,以在文档中包括字节顺序标记 (BOM)。否则,不带BOM:
php UTF-8、Unicode和BOM问题
三、其他知识
从http://blog.csdn.net/thimin/archive/2007/08/03/1724393.aspx 一文了解到:
所谓的unicode保存的文件实际上是utf-16,只不过恰好跟unicode的码相同而已,但在概念上unicode与utf是两回事,unicode是内存编码表示方案,而utf是如何保存和传输unicode的方案。utf-16还分高位在前 (LE)和高位在后(BE)两种。官方的utf编码还有utf-32,也分LE和BE。非unicode官方的utf编码还有utf-7,主要用于邮件传输。utf-8的单字节部分是和iso-8859-1兼容的,这主要是一些旧的系统和库函数不能正确处理utf-16而被迫出来的,而且对英语字符来说,也节省保存的文件空间(以非英语字符浪费空间为代价)。在iso-8859-1的时候,utf8和iso-8859-1都是用一个字节表示的,当表示其它字符的时候,utf-8会使用两个或三个字节。

一段关于BOM的更详细说明,来自这里:
在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符"ZERO WIDTH NO-BREAK SPACE"。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。
UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。
Windows就是使用BOM来标记文本文件的编码方式的。

PHP也不支持BOM。
PHP在设计时就没有考虑BOM的问题,也就是说他不会忽略UTF-8编码的文件开头BOM的那三个字符。由于必须在<?或者<?php后面的代码才会作为PHP代码执行,所以这三个字符将会直接输出。如果插件的文件有这个问题,将会导致在后台页面里激活或者不激活插件后显示白屏,如果是模版文件有这个问题,将会导致这三个字符直接输出,造成页面上方有一个小空行。国外的英文插件和模版一般都是用的ASCII码的编码方式,不会有BOM,只有国内的插件和模版会由于作者的不知情造成问题。还有,大家修改模版的时候,由于输出页面使用UTF-8编码,那么修改模版的时候如果有加入中文字符的话,必须把文件转成UTF-8编码才能正常显示,这个时候如果所使用的编辑器自动加上了BOM的话,将会造成在页面上输出这三个字符,显示效果就要看浏览器了,一般是一个空行或是一个乱码。
※ 补充一句:特别是当使用php导入模板的时候,更容易因为这三个字符,导致浏览异常。

PHP 相关文章推荐
php图片的裁剪与缩放生成符合需求的缩略图
Jan 11 PHP
PHP设计模式之解释器模式的深入解析
Jun 13 PHP
PHP使用glob函数遍历目录或文件夹的方法
Dec 16 PHP
如何解决PHP无法实现多线程的问题
Sep 25 PHP
PHP 输出缓冲控制(Output Control)详解
Aug 25 PHP
注意!PHP 7中不要做的10件事
Sep 18 PHP
php正则修正符用法实例详解
Dec 29 PHP
PHP实现文件上传功能实例代码
May 18 PHP
原生JS实现Ajax通过POST方式与PHP进行交互的方法示例
May 12 PHP
python进程与线程小结实例分析
Nov 11 PHP
实例讲解通过​PHP创建数据库
Jan 20 PHP
Laravel中validation验证 返回中文提示 全局设置的方法
Sep 29 PHP
php生成的html meta和link标记在body标签里 顶部有个空行
May 18 #PHP
PHP 工厂模式使用方法
May 18 #PHP
在PHP中使用反射技术的架构插件使用说明
May 18 #PHP
PHP 写文本日志实现代码
May 18 #PHP
php 随机记录mysql rand()造成CPU 100%的解决办法
May 18 #PHP
PHP array_flip() 删除重复数组元素专用函数
May 16 #PHP
mysql下创建字段并设置主键的php代码
May 16 #PHP
You might like
在普通HTTP上安全地传输密码
2007/07/21 PHP
thinkphp3.2点击刷新生成验证码
2016/02/16 PHP
PHP简单获取随机数的常用方法小结
2017/06/07 PHP
PHP使用SMTP邮件服务器发送邮件示例
2018/08/28 PHP
laravel实现一个上传图片的接口,并建立软链接,访问图片的方法
2019/10/12 PHP
mouse_on_title.js
2006/08/25 Javascript
jQuery源码解读之removeClass()方法分析
2015/02/20 Javascript
浅谈Javascript数组的使用
2015/07/29 Javascript
D3.js中data(), enter() 和 exit()的问题详解
2015/08/17 Javascript
js实现select下拉框菜单
2015/12/08 Javascript
Javascript同时声明一连串(多个)变量的方法
2017/01/23 Javascript
Angularjs 实现动态添加控件功能
2017/05/25 Javascript
React学习笔记之事件处理(二)
2017/07/02 Javascript
js实现一个简单的MVVM框架示例
2018/01/15 Javascript
jQuery实现遍历XML节点和属性的方法示例
2018/04/29 jQuery
vue awesome swiper异步加载数据出现的bug问题
2018/07/03 Javascript
浅谈关于iview表单验证的问题
2018/09/29 Javascript
[20:57]Ti4主赛事第三天开幕式
2014/07/21 DOTA
Python学习资料
2007/02/08 Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
2018/06/13 Python
python实现顺序表的简单代码
2018/09/28 Python
Python高级编程之消息队列(Queue)与进程池(Pool)实例详解
2019/11/01 Python
利用Python代码实现一键抠背景功能
2019/12/29 Python
Django数据结果集序列化并展示实现过程
2020/04/22 Python
Django用户登录与注册系统的实现示例
2020/06/03 Python
DataReader和DataSet的异同
2014/12/31 面试题
简历自荐信
2013/12/02 职场文书
某同学的自我鉴定范文
2013/12/26 职场文书
《盲人摸象》教学反思
2014/02/16 职场文书
《三顾茅庐》教学反思
2014/04/10 职场文书
保护环境建议书400字
2014/05/13 职场文书
硕士毕业论文导师评语
2014/12/31 职场文书
MBA推荐信怎么写
2015/03/25 职场文书
结婚通知短信怎么写
2015/04/17 职场文书
早会开场白台词大全
2015/06/01 职场文书
python flask开发的简单基金查询工具
2021/06/02 Python