PHP 按字节处理中文有多坑:title 变空、meta 被啃,我用 hexdump 抓到了半个汉字

2026 年 11 月 17 日下午,我在本地核对一批历史文章的元信息。页面源码里 <title> 标签是有的,后台字段也明明填了中文标题,可浏览器标签页上就是空白。更让人摸不着头脑的是,同一页的 description 显示完全正常。

我第一反应是模板写法出了问题,翻了半天 layout.html,又去查是不是某个 htmlspecialchars 被重复转义。这两条路都走不通——模板没写错,转义函数调用也规规矩矩。真正的问题藏在一个我从来没检查过的地方:那段中文在当前编码下根本不是「一个字一个字」,而是「三个字节三个字节」。有段代码按字节切了它一下,切出来的结果恰好停在某个汉字中间。

下面这套排查我先用本机 PHP 跑了一遍再写结论。脚本、每组字符串的 hexdump、函数返回值全部贴在文中,你可以把自己那段「输出为空」的字符串换进去重跑一遍。

一、先把「消失」复现出来

我用了三组有代表性的字符串:纯中文、中英混合、带全角标点。每组都做三件事——量字节数和字符数、用不带 /u 的正则过滤、用 substr 截前 4 个字节看下游函数什么反应。

// 本机:PHP 7.3.4nts
mb_internal_encoding('UTF-8');

$cases = [
    '纯中文标题'   => '中文标题测试',
    '中英混合标题' => 'ThinkPHP6 部署踩坑记录',
    '含全角标点'   => '标题:中文,测试!',
];

foreach ($cases as $name => $s) {
    echo strlen($s) . ' / ' . mb_strlen($s, 'UTF-8') . "\n";
    echo strtoupper(bin2hex($s)) . "\n";
    $bad = preg_replace('/[^\w\s]/', '', $s);       // 少了 /u
    echo '[' . $bad . '] 剩 ' . strlen($bad) . " 字节\n";
    $cut = substr($s, 0, 4);                         // 按字节截
    echo strtoupper(bin2hex($cut)) . "\n";
    echo htmlspecialchars($cut, ENT_QUOTES, 'UTF-8') . "\n";
    echo var_export(json_encode($cut), true) . ' ' . json_last_error_msg() . "\n";
}

实跑输出整理成下面这张表。列有点多,但每一列都对应一个具体的判断,少一列就拼不出完整的因果链:

字符串strlenmb_strlen无 /u 过滤后substr(0,4) 的 hex合法 UTF-8htmlspecialcharsjson_encode
中文标题测试186空,剩 0 字节E4B8ADE6NO空串false
ThinkPHP6 部署踩坑记录2816ThinkPHP6 (剩 10 字节)5468696EyesThin"Thin"
标题:中文,测试!279空,剩 0 字节E6A087E9NO空串false

第一行和第三行就是那类「输出为空」的现场。第二行看起来没出事,但它恰好暴露了另一半真相:截出来的 Thin 是合法的,因为前 4 个字节全落在 ASCII 范围内。同一个 substr($s,0,4),有时候截出 4 个字符,有时候截出 1 个半汉字——区别只在于那 4 个字节切到了哪里。

二、半个汉字是怎么来的

UTF-8 里一个常用汉字占 3 个字节。「中」是 E4 B8 AD,「文」是 E6 96 87。所以「中文标题测试」这 6 个字,strlen 数出来是 18,mb_strlen 数出来才是 6。这不是编码错误,是这两函数在数不同的东西:一个数字节,一个数码点。

问题出在 substr($s,0,4)。它老老实实取了前 4 个字节:E4 B8 AD E6。前三个字节凑成完整的「中」,第四个 E6 是「文」的三分之一个开头。mb_check_encoding 对这串的判定是 NO——因为它不是任何合法 UTF-8 序列。

接下来发生的事才有意思,因为三个下游函数的反应完全不一样:

  • htmlspecialchars($cut, ENT_QUOTES, 'UTF-8') 返回空串。它遇到非法字节不报错、不替换,直接把整段丢掉。这就是「标签在、值也在、页面却空白」的直接来源——你以为是模板没输出,其实是这一行把它吃掉了。
  • json_encode($cut) 返回 false,json_last_error_msg() 给出原文 Malformed UTF-8 characters, possibly incorrectly encoded。如果你的页面有 AJAX 接口把这段字符串回传给前端,前端拿到的会是一个空的 JSON 响应,看起来像「接口没返回」。
  • 直接 echo $cut 反而不报任何错。浏览器按容错规则把那个孤立的 E6 显示成替换符或方框,于是你看到「中□」——这还算幸运的,至少知道出了事。

PHP 官方在 htmlspecialchars 手册页里写得很清楚:当输入字符串在指定编码下无效时,函数返回空串,除非你传入 ENT_SUBSTITUTE 标志让它用替换字符顶上。这条说明就摆在手册里,但我排查时压根没往这边想——因为出错的那段代码是我半年前写的,我默认它「一直都工作正常」。

三、\w 不认中文:少一个 /u,整段标题被抹掉

比截取更隐蔽的是正则。我想做一件再普通不过的事:去掉标题里的标点。写法是 preg_replace('/[^\w\s]/', '', $title)——保留「单词字符」和空白,其余删掉。逻辑看着没毛病,跑出来的结果却分成了两个极端。

纯中文标题「中文标题测试」跑完是空字符串,0 字节。带全角标点的「标题:中文,测试!」也是空的。而中英混合那组只剩下 ThinkPHP6 ——中文全没了,连一个字都没留下。

原因就一个字:\w 在没有 /u 修饰符时,只认 ASCII 的 [A-Za-z0-9_]。中文的每个字节都落在这个集合之外,于是被 [^\w\s] 当成「标点」通通删掉。你以为自己在删标点,实际是在删每一个非 ASCII 字节。加上 /u 之后,PCRE 才会按 UTF-8 码点解释模式,结果变成:纯中文完整保留 18 字节,全角标点那组保留「标题中文测试」18 字节,全角「:,!」被正确删掉。

// 错:\w 只认 ASCII,中文每个字节都被当成标点删掉
$bad  = preg_replace('/[^\w\s]/',  '', $title);   // 纯中文 => 空串

// 对:/u 让 PCRE 按 UTF-8 码点匹配
$good = preg_replace('/[^\w\s]/u', '', $title);   // 纯中文 => 原样保留

// 提取「标题里的词」同理:无 /u 时 preg_match('/\w+/', '中文标题测试')
// 返回 NULL;加了 /u 才拿得到「中文标题测试」。

还有个容易被忽略的细节:/u 解决的是「按码点匹配」,不等于「认识所有标点」。上面带全角标点那组,加了 /u 后 \w+ 取到的是「标题」而不是「标题:中文」——因为全角冒号依然不属于 \w。这正是我们想要的结果,但值得亲手跑一遍确认,别凭印象以为 /u 会让 \w 突然匹配中文标点。PHP 手册的 PCRE 修饰符表把 /u 定义为「以 UTF-8 模式匹配」,仅此而已。

四、反过来:哪些地方按字节处理反而是对的

写到这儿我得踩个刹车,不然很容易走向另一个极端——把所有 substr 都换成 mb_substr。这不对。有一段处理按字节切不但没错,反而更准。

我这次核对的代码里,有几处是输入域天然只含 ASCII 的:去掉 URL 的 https:// 前缀、剥掉路径末尾的 .html、校验十六进制颜色值 ^#[0-9a-fA-F]{6}$、生成只含 [a-z0-9_-] 的 slug。这些场景里字符串里根本不会出现多字节字符,用 substr 和 preg_replace 完全安全,换成 mb_* 只是白白多一层扩展依赖。

判断准则其实就一句话:先确定这段字符串的取值域,再选按字节还是按码点。 域名、slug、hex 颜色、ASCII 后缀——按字节;标题、描述、正文、用户名、任何用户可输入中文的字段——按码点。

这里还有个反直觉的实测值得记一笔。我拿中英混合那组做了对照:

$s = 'ThinkPHP6 部署踩坑记录';
substr($s, 0, 4)    // => "Thin",hex = 5468696E
mb_substr($s, 0, 4, 'UTF-8')  // => 同样是 "Thin",hex = 5468696E

两者结果完全一样,因为前 4 个字节恰好都是 ASCII。mb_substr 不是「更安全的 substr」,它只是把单位从字节换成了码点——当字符串前缀是纯 ASCII 时,两者输出一致,只有当切片边界落到某个多字节字符内部时才会分叉。mb_substr 手册里的参数说明写的就是「字符数」,不是「字节数」。所以别指望换个函数名就能兜住所有情况,关键还是先搞清楚你要切的单位是什么。

五、落到代码上:三处替换加一道兜底

把上面的结论压缩成能直接抄的修改。第一处,凡是会切到用户可控中文的 substr,换成 mb_substr,并且显式传第三个参数指定编码——别依赖 ini 里的默认编码,那是运维环境的一部分,不在你代码里:

// 先判断合法性,再决定要不要处理
if (!mb_check_encoding($title, 'UTF-8')) {
    // 字节已经坏了,这一步修不回来,只能从源头找是哪次截取造成的
    $title = mb_convert_encoding($title, 'UTF-8', 'UTF-8');
}

$short = mb_substr($title, 0, 20, 'UTF-8');

第二处,所有可能碰到中文的正则模式,补上 /u。这条最好加个代码评审检查项,因为它太容易漏——漏了以后代码不报错,只是结果悄悄变空。

第三处,给 htmlspecialchars 加上容错标志。就算前面两处都改好了,数据库里仍可能有历史遗留的坏字节;ENT_SUBSTITUTE 能让函数遇到非法序列时输出替换符,而不是把整段吞掉。这个取舍要看你的场景:管理后台里我宁愿看见方框知道有问题,也不想面对一个莫名其妙的空字段。

// PHP 7.3 用法:ENT_QUOTES | ENT_SUBSTITUTE 一起传
echo htmlspecialchars($value, ENT_QUOTES | ENT_SUBSTITUTE, 'UTF-8');

// 回传给前端前自检一道,免得前端拿到空 JSON 还以为是接口挂了
$json = json_encode($data);
if ($json === false) {
    error_log('json_encode failed: ' . json_last_error_msg());
}

最后一道兜底是在写库之前做一次 mb_check_encoding,把坏字节挡在门外。数据一旦带着半个汉字落库,后面每一个读取它的页面都得自己处理一遍,成本远高于入口处的一次校验。

六、这套结论的边界

    | | | | --- | --- |
  • 本机是 PHP 7.3.4nts,行为不代表所有版本。PHP 8.1 起 htmlspecialchars 的默认 flags 已经包含 ENT_QUOTES | ENT_SUBSTITUTE,同样的非法字节在新版本上可能输出替换符而不是空串。上面那张表是 7.3 的实跑结果,换版本前请先重跑脚本。
  • 没装 mbstring 扩展的环境不适用。mb_substr / mb_check_encoding 都依赖它。部署前先确认扩展在,否则改完代码会直接抛「函数不存在」——这类扩展问题我在《ThinkPHP6 上线部署:宝塔 + Nginx 伪静态 + 定时任务的完整踩坑》里单独记过。
  • 这次只覆盖了 UTF-8。GBK 环境下汉字的字节结构和合法序列判定完全不同,结论不能直接搬。
  • 修好输出不等于修好了源头。如果坏字节是某次 substr 截出来的,只改输出侧的 htmlspecialchars 只是把「空白」变成「方框」,数据还是坏的。要顺着写入链一路找到那次截取。
  • 没建模浏览器容错。不同浏览器对孤立字节的显示不一样,有的显示替换符、有的直接忽略。文中「中□」只是最常见的表现,不作为判定依据——判定只看 mb_check_encoding 和 hexdump。

回头看这次排查,弯路走得很典型:我花了大半天在模板和转义函数上找错,因为那是我熟悉的、出过问题的地方。真正该做的第一步其实是 bin2hex——把那段「输出为空」的字符串按字节摊开,看它是不是合法的 UTF-8。同类的方法我在《429 限流下重试到底省了什么》里也用过:先让数字和字节说话,再决定改哪一行代码,比顺着直觉猜快得多。

如果你也在处理一个「字段有值但页面空白」的问题,建议先别动模板。把那个字段的值 bin2hex 一下,对照上面第一张表——如果 mb_check_encoding 返回 false,问题不在模板,在你之前某一次按字节的截取或过滤。统计和权限那块的表设计思路,可以顺带看《ThinkPHP6 后台统计与权限实战:从表设计到图表》,把「校验结果」也记进日志,下次这类问题就不用重新猜一遍。

相关推荐

评论(0)
发表评论
▾
安卓、IOS免费上传工具
推荐
安卓、IOS免费上传工具
拖拽上传 IPA 文件,自动解析 Bundle ID、版本号、签名信息、备案公钥等
了解详情 ›
广告