php UTF-8、Unicode和BOM问题


Posted in PHP onMay 18, 2010

一、介绍

UTF-8 是一种在web应用中经常使用的一种 Unicode 字符的编码方式,使用 UTF-8 的好处在于它是一种变长的编码方式,对于 ANSII 码编码长度为1个字节,这样的话在传输大量 ASCII 字符集的网页时,可以大量节约网络带宽。
UTF-8签名(UTF-8 signature)也叫做BOM(Byte Order Mark),是UTF编码方案里用于标识编码的标准标记。BOM,是UTF编码方案里用于标识编码的标准标记,在UTF-16里本来是FF FE,变成UTF-8就成了EF BB BF。这个标记是可选的,因为UTF8字节没有顺序,所以它可以被用来检测一个字节流是否是UTF-8编码的。微软做这种检测,但有些软件不做这种检测,而把它当作正常字符处理。微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节, windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的, 然而这个只是微软暗自作的标记, 其它平台上并没有对UTF-8文本文件做个这样的标记。也就是说一个UTF-8文件可能有BOM,也可能没有BOM。
只有一个BOM,是不会有问题的。如果多个文件设置了签名,在二进制流中就会包含多个UTF-8签名,也就是导致XML转换失败的"root element must be well-formed"原因。

二、查看和转换

既然一个UTF-8文件可能有BOM,也可能没有,那该如何区分呢?
只要用带十六进制编辑方式的软件,例如,用UltraEdit-32打开文件,切换到十六进制编辑模式,察看文件头部是否有EF BB BF。有,则为带BOM方式。
Windows自带的notepad记事本,保存为UTF-8时,默认就带BOM。
转换的方法有很多,常见的UltraEdit-32或NotePad++都可以,以UltraEdit-32为例。打开文件后,选择“另存为”,在“格式”一栏中有如下选择:

php UTF-8、Unicode和BOM问题

另外,DreamWeaver CS3也有类似的选项,在“首选项”中,如果选择 Unicode (UTF-8) 作为默认编码,则可以选择“包括 Unicode 签名 (BOM)”选项,以在文档中包括字节顺序标记 (BOM)。否则,不带BOM:
php UTF-8、Unicode和BOM问题
三、其他知识
从http://blog.csdn.net/thimin/archive/2007/08/03/1724393.aspx 一文了解到:
所谓的unicode保存的文件实际上是utf-16,只不过恰好跟unicode的码相同而已,但在概念上unicode与utf是两回事,unicode是内存编码表示方案,而utf是如何保存和传输unicode的方案。utf-16还分高位在前 (LE)和高位在后(BE)两种。官方的utf编码还有utf-32,也分LE和BE。非unicode官方的utf编码还有utf-7,主要用于邮件传输。utf-8的单字节部分是和iso-8859-1兼容的,这主要是一些旧的系统和库函数不能正确处理utf-16而被迫出来的,而且对英语字符来说,也节省保存的文件空间(以非英语字符浪费空间为代价)。在iso-8859-1的时候,utf8和iso-8859-1都是用一个字节表示的,当表示其它字符的时候,utf-8会使用两个或三个字节。

一段关于BOM的更详细说明,来自这里:
在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符"ZERO WIDTH NO-BREAK SPACE"。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。
UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。
Windows就是使用BOM来标记文本文件的编码方式的。

PHP也不支持BOM。
PHP在设计时就没有考虑BOM的问题,也就是说他不会忽略UTF-8编码的文件开头BOM的那三个字符。由于必须在<?或者<?php后面的代码才会作为PHP代码执行,所以这三个字符将会直接输出。如果插件的文件有这个问题,将会导致在后台页面里激活或者不激活插件后显示白屏,如果是模版文件有这个问题,将会导致这三个字符直接输出,造成页面上方有一个小空行。国外的英文插件和模版一般都是用的ASCII码的编码方式,不会有BOM,只有国内的插件和模版会由于作者的不知情造成问题。还有,大家修改模版的时候,由于输出页面使用UTF-8编码,那么修改模版的时候如果有加入中文字符的话,必须把文件转成UTF-8编码才能正常显示,这个时候如果所使用的编辑器自动加上了BOM的话,将会造成在页面上输出这三个字符,显示效果就要看浏览器了,一般是一个空行或是一个乱码。
※ 补充一句:特别是当使用php导入模板的时候,更容易因为这三个字符,导致浏览异常。

PHP 相关文章推荐
php中文本数据翻页(留言本翻页)
Oct 09 PHP
聊天室php&amp;mysql(四)
Oct 09 PHP
一个ubbcode的函数,速度很快.
Oct 09 PHP
PHP4实际应用经验篇(1)
Oct 09 PHP
php下批量挂马和批量清马代码
Feb 27 PHP
基于PHP Web开发MVC框架的Smarty使用说明
Apr 19 PHP
异步加载技术实现当滚动条到最底部的瀑布流效果
Sep 16 PHP
浅析PHP中call user func()函数及如何使用call user func调用自定义函数
Nov 05 PHP
PHP目录与文件操作技巧总结(创建,删除,遍历,读写,修改等)
Sep 11 PHP
PHP处理Ajax请求与Ajax跨域问题
Feb 13 PHP
Laravel下生成验证码的类
Nov 15 PHP
PHP封装的数据库模型Model类完整示例【基于PDO】
Mar 14 PHP
php生成的html meta和link标记在body标签里 顶部有个空行
May 18 #PHP
PHP 工厂模式使用方法
May 18 #PHP
在PHP中使用反射技术的架构插件使用说明
May 18 #PHP
PHP 写文本日志实现代码
May 18 #PHP
php 随机记录mysql rand()造成CPU 100%的解决办法
May 18 #PHP
PHP array_flip() 删除重复数组元素专用函数
May 16 #PHP
mysql下创建字段并设置主键的php代码
May 16 #PHP
You might like
无需重新编译php加入ftp扩展的解决方法
2013/02/07 PHP
PHP生成树的方法
2015/07/28 PHP
PHP使用redis实现统计缓存mysql压力的方法
2015/11/14 PHP
yii2中LinkPager增加总页数和总记录数的实例
2017/08/28 PHP
js判断请求的url是否可访问,支持跨域判断的实现方法
2016/09/17 Javascript
BootStrap框架个人总结(bootstrap框架、导航条、下拉菜单、轮播广告carousel、栅格系统布局、标签页tabs、模态框、菜单定位)
2016/12/01 Javascript
angular-ui-sortable实现可拖拽排序列表
2016/12/28 Javascript
JS实现的添加弹出层并完成锁屏操作示例
2017/04/07 Javascript
Javascript(es2016) import和require用法和区别详解
2017/08/11 Javascript
JavaScript编写棋盘覆盖代码详解
2017/08/28 Javascript
基于JS实现html中placeholder属性提示文字效果示例
2018/04/19 Javascript
基于vue实现可搜索下拉框定制组件
2020/03/26 Javascript
使用Angular-CLI构建NPM包的方法
2018/09/07 Javascript
在vue中使用vue-echarts-v3的实例代码
2018/09/13 Javascript
javascript实现弹出层效果
2019/12/10 Javascript
javascript实现留言板功能
2020/02/08 Javascript
three.js 如何制作魔方
2020/07/31 Javascript
[01:31]完美与DOTA2历程
2014/07/31 DOTA
详解python3中socket套接字的编码问题解决
2017/07/01 Python
python基于json文件实现的gearman任务自动重启代码实例
2019/08/13 Python
Python魔法方法 容器部方法详解
2020/01/02 Python
django商品分类及商品数据建模实例详解
2020/01/03 Python
python GUI库图形界面开发之PyQt5窗口类QMainWindow详细使用方法
2020/02/26 Python
在python中使用nohup命令说明
2020/04/16 Python
python 模拟登陆github的示例
2020/12/04 Python
Giglio德国网上精品店:奢侈品服装和配件
2016/09/23 全球购物
25道Java面试题集合
2013/05/21 面试题
小学家长会邀请函
2014/01/23 职场文书
相亲大会策划方案
2014/06/05 职场文书
计算机应用专业自荐信
2014/07/05 职场文书
六一文艺汇演开幕词
2015/01/29 职场文书
施工员岗位职责
2015/02/10 职场文书
社区禁毒宣传活动总结
2015/05/07 职场文书
浅析InnoDB索引结构
2021/04/05 MySQL
Python Numpy之linspace用法说明
2021/04/17 Python
css如何把元素固定在容器底部的四种方式
2022/06/16 HTML / CSS