前事不忘,后事之师,不忘国耻!

 找回密码
 用户注册
搜索
查看: 26|回复: 0

[开发应用] Sybase ASE 字符集治理实战:从 iso_1 把中文存成问号到服务端与客户端全链路对齐双线收敛

[复制链接]
发表于 昨天 05:49 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?用户注册

×
Sybase ASE 字符集治理实战:从 iso_1 把中文存成问号到服务端与客户端全链路对齐双线收敛


一、具体的问题

先说一个老场景。一套跑了八年的 ERP,数据库是 ASE 15.7,装在 Windows 上,装库的时候一路回车,字符集吃的是安装程序的默认值 iso_1。业务表里客户名称、物料描述、备注这几列,前端页面偶尔查出来正常,偶尔整列变成问号,用 isql 一查又是另外一副样子;更玄的是手机端显示正常、PC 端客户端显示乱码。开发说"数据库坏了",运维说"网络问题",最后活落到 DBA 头上,第一反应通常是——改字符集,改成 cp936 就对了。

于是就有了最典型的一次翻车:直接 sp_configure "default character set id",171,重启两次,服务器起来了,sp_helpsort 显示 cp936,看着很成功。然后应用一大片报错,原来能看的中文变成乱码,原来乱码的还是问号,ORDER BY 出来的客户列表顺序全乱。原因很简单:字符集是解释规则,不是存储格式。改字典不换纸上的字。那一批存量字节根本没变,只是从此按另一套规则解释,本来碰巧能读的读不出来了,本来存坏的字依然坏。

这类问题必须分层看,否则一定治错:


  • 丢失型:写进去的时候中文就已经变成 ?(ASCII 0x3F),字节层面已经没了,任何字符集调整都救不回来,只能补录或从上游重灌。
  • 误解型:字节还在,只是被另一套编码解释错了,比如 涓枃 这类典型形态,属于"没丢但看错",有回捞空间。
  • 排序型:显示正常,但中文 ORDER BY 出来的顺序既不按拼音也不按笔画,属于 sortorder 的事,与字符集是两码事。
  • 客户端型:服务端一切正常,只有某一类客户端乱,问题在连接层。


四个类型的处置代价差三个数量级。分不清就直接动服务端,等于拿全库数据去赌一个猜测。

二、核心原理

第一,char/varchar 里存的是字节,字符集只是映射表。 ASE 的 char、varchar 列在页上就是一段字节,服务器和客户端各自知道自己"应该用哪本字典"。同一批字节,用 iso_1 解释是西文,用 cp936 解释是汉字,用 utf8 解释是"三个字节一组"。所谓乱码,九成是字典拿错了,不是数据坏了。

第二,字符集转换只发生在客户端与服务器的边界上,不发生在存储内部。 客户端连上来时声明自己的字符集(连接串、-J 参数或 locales.dat 的默认值),服务端把数据按自己字符集读出来、转成客户端字符集送出去,反向亦然。转换表里查不到的字符,去向只有一个——?。这就是中文被打成问号的机制:不是写错了,是转换时目标字符集里没有这个字形。

第三,数据库的字符集是建库时从服务器继承的,不能事后 ALTER。 这是 ASE 与其他一些库最大的差异,也是所有翻车的根源。改服务器 default character set id 只影响"以后新建的库"和"当前会话的解释规则",存量库的元数据和数据页不会跟着转。所以官方给的路径从来不是"改配置",而是:全量导出 → 清理 → 重建库 → 按新字符集灌回。任何跳过重灌的字符集变更,本质都是在制造两套字典混用的烂摊子。

第四,字符集和 sortorder 是两条独立的线。 字符集决定"这串字节是什么字",sortorder(排序顺序)决定"这些字怎么比大小、怎么排"。sp_helpsort 一次会把两样都打出来。cp936 常配二进制排序,这种情况下中文按内码顺序排,不是拼音序,也不是 GB2312 区位序;业务上要"按拼音排客户名",靠改字符集解决不了,得改 sortorder。而 sortorder 一改,所有索引必须重建——索引键是按旧比较规则排好序落盘的,规则变了索引就与数据不一致了。

第五,中文字符集的选型有四个选项。 ASE 12.5 之后支持 cp936(GBK,双字节,Windows 系老系统的事实标准)、eucgb(GB2312-80,覆盖窄)、utf8(中文三字节,空间与列宽都要按三倍预留)、gb18030(12.5.0.3 起支持,四字节体系,能装生僻字)。选型不是选"最好的",是选"和你的客户端全链路能对上的"。

三、实例参考(动手步骤)

步骤 0:确认现状基线(五分钟,先别改任何配置)

服务端看两样东西:
  1. -- 当前字符集 + 排序规则,一次看全
  2. sp_helpsort
  3. go
  4. -- 当前默认字符集 id(0/1 一般是 iso_1,171 一般是 cp936)
  5. sp_configure "default character set id"
  6. go
  7. -- 目标字符集到底装没装、id 是多少
  8. select name, id from master..syscharsets where name in ('cp936','utf8','gb18030','iso_1')
  9. go
复制代码

客户端看一样东西,但要在每个入口都看一次:
  1. select @@client_csname, @@client_csnum
  2. go
复制代码

@@client_csname 返回空,说明这个连接没显式指定字符集,走的是 locales.dat 里的默认值——这恰恰是最容易出分歧的地方:isql 走一份 locales.dat,应用服务器上另一份,报表工具里再一份。三个入口跑一遍,经常能看到三种结果。

步骤 1:把"乱了"分成四类,只修能修的

下面这段用来区分"丢字"和"看错",判据在字节层,不在显示层:
  1. -- 看原始字节:E4B8AD 这类三字节序列 = UTF-8 残留;连续 3F = 已丢字
  2. select convert(varbinary(20), cust_name) as raw_bytes,
  3.        datalength(cust_name) as bytes,
  4.        char_length(cust_name) as chars,
  5.        cust_name
  6. from customer
  7. where cust_id = 10086
  8. go
复制代码

判读规则很干脆:


  • bytes 等于 chars,且中文列里出现 0x3F,0x3F 的个数与汉字个数相当 → 丢失型,不可逆,别再折腾字符集,走业务补录。
  • bytes 恰好是 chars 的两倍且字节落在 GBK 区间 → 数据是好的,问题是出口那一端解释错了 → 误解型或客户端型。
  • bytes 是 chars 的三倍左右、字节是 E4/E5/E6 开头 → 数据是 UTF-8 字节被塞进了单字节列,属于误解型,可以按字节回捞后转码重写。
  • 显示、bytes/chars 都正常,只有排序不对 → 排序型。


全表摸底用一条聚合,比肉眼翻页靠谱:
  1. select count(*) as bad_rows
  2. from customer
  3. where cust_name like '%?%'
  4.   and charindex(convert(varbinary(4),0x3F3F), convert(varbinary(200), cust_name)) > 0
  5. go
复制代码

like '%?%' 单独用会大量误命中业务里正常问号,必须叠加二进制判据。

步骤 2:客户端侧先对齐(低风险,当天可做,先解决八成问题)

这一步不动服务端,只让"出口"一致。改 $SYBASE/locales/locales.dat 的 [NT] 段(Unix 是 [linux]),找到 locale = default 那一行,把字符集字段改成 cp936:
  1. [NT]
  2.     locale = default, us_english, cp936
复制代码

改完立刻用命令行验证,-J 是逐次覆盖,不影响别人:
  1. isql -Usa -P****** -SASE157 -J cp936
  2. bcp db..customer out customer.dat -Usa -P****** -SASE157 -c -J cp936 -t"|" -r"\n"
复制代码

应用侧按栈各配一处,原则是"声明成数据的真实编码",不要凭感觉写:


  • JDBC(jConnect):jdbc:sybase:Tds:10.0.0.21:5000/erp?CHARSET=cp936
  • ODBC / ADO:连接属性里加 Charset=cp936(不同驱动键名略有差异,以驱动文档为准)
  • 连接池:初始化连接时统一注入,别指望开发各写各的


配完回到步骤 0,三个入口各跑一次 select @@client_csname,必须三处一致。不一致就继续查,这一条没过,后面服务端一步都别动。

步骤 3:服务端字符集切换(重建级操作,必须进变更窗口)

先把"能不能改"想清楚:服务器字符集一改,存量库的数据解释立刻变,所以这一步的完整动作是导出—重建—灌回,不是改配置重启。
  1. -- 记录清单:库、设备、段、登录、作业
  2. select name, dbid from master..sysdatabases order by dbid
  3. go
  4. -- 表结构导出(ddlgen 比手写可靠)
  5. -- ddlgen -Usa -P****** -SASE157 -D erp -TU S -O erp_ddl.sql
复制代码

然后用旧字符集全量出数据,-J 写"文件落地的编码",不是"你希望它变成的编码":
  1. bcp erp..customer out D:\mig\customer.dat -Usa -P****** -SASE157 -c -J iso_1 -t"|" -r"\n" -e D:\mig\customer.err
复制代码

安装目标字符集并切换,顺序不能颠倒:
  1. cd %SYBASE%\charsets\cp936
  2. charset -Usa -P****** -SASE157 binary.srt cp936
复制代码
  1. -- 确认 cp936 已进字典表,记下 id(常见 171,以查询结果为准)
  2. select name, id from master..syscharsets where name = 'cp936'
  3. go
  4. sp_configure "default character set id", 171
  5. go
  6. shutdown
  7. go
复制代码

服务器要启动两次:第一次大概率起不来或起来后异常退出,属正常现象——它在用新字典校验系统表;第二次才稳定。起来之后逐项确认:
  1. sp_helpsort
  2. go
  3. select @@client_csname
  4. go
复制代码

最后重建库与设备,按 -J cp936 灌回数据,灌完立刻做行数对账与抽样比对(见步骤 5)。再跑一轮 update statistics,因为重建后统计信息全没了。

步骤 4:排序规则与索引重建

排序规则只在"业务真的需要中文序"时才动,而且必须和重建一起做,单独改 sortorder 是最危险的半吊子操作。重建完成后,索引要逐个重排:
  1. -- ASE 12.5+ 原地重建表上所有索引
  2. reorg rebuild customer
  3. go
  4. -- 单索引重建
  5. reorg rebuild customer cust_name_idx
  6. go
  7. -- 重建后补统计
  8. update statistics customer
  9. go
复制代码

判断"到底要不要动 sortorder",看业务诉求而不是看心情:如果只是偶尔一个报表要按客户名排,加一个计算列或者应用层排序就行,别为了一个报表去动全库的比较规则。

步骤 5:把校验固化进巡检

治理做完不等于守得住。留一条自动化的眼睛:每天按入库时间扫一次当天新增的丢字行(like '%?%' 叠加 charindex(0x3F3F, ...) 判据),结果进日报;同时应用新增数据源、新上报表工具、新接同步链路时,把 select @@client_csname 列为联调必检项,bcp 与导出脚本一律显式带 -J,不依赖默认值。

治理前后对比

维度治理前治理后
客户端字符集三个入口三种结果,谁也说不出默认值哪来的locales.dat 统一 cp936,连接串显式声明
中文丢失每天新增几十行问号,无人统计巡检日扫,新增即告警,源头连接串已固化
存量脏数据一万两千余行,混着丢字和误解两类按四类拆分,误解型回捞修复,丢字型业务补录
排序ORDER BY 中文按内码,报表顺序像随机需要中文序的场景走计算列/应用层,不再动全库 sortorder
变更风险直接改配置重启,全库数据解释失控导出—重建—灌回走窗口,回滚脚本预先验证
可追溯没人记得当初装库选了 iso_1字符集与 sortorder 写进基线文档,变更留台账


四、实操检查清单


  • 动手前先跑 sp_helpsort 与 sp_configure "default character set id",把现状写进变更单,别凭记忆;
  • select @@client_csname 在 isql、应用连接池、报表/ETL 三处各跑一次,三处不一致就先修客户端;
  • 用 convert(varbinary, col) 判字节,不要用"看起来像不像乱码"判;
  • 先分类再动手:丢字型不浪费窗口,误解型先回捞,排序型单独评估;
  • 任何字符集切换都要按"导出—清理—重建—灌回"走,不接受只改配置重启;
  • bcp 的 -J 描述的是文件实际编码,导出与导入两端保持一致,别一端写旧一端写新;
  • 切换前导出 sysdatabases、sysdevices、登录与作业清单,重建靠它核对;
  • 服务器改字符集后必须启动两次,第一次异常属预期,别急着回滚配置;
  • 新字符集下 varchar(n) 的长度按字节算,中文场景要按 2 倍(cp936)或 3 倍(utf8)预留,否则截断报 2628;
  • 排序规则变更后必须 reorg rebuild 全表索引,否则索引与比较规则不一致;
  • 重建完成后立刻 update statistics,否则执行计划可能比治理前更差;
  • 治理完把"新增数据源必须验证 @@client_csname"写进上线流程,否则半年后原样复发。


几个容易踩的坑

一是把改字符集当成"修乱码"的万能药。 这是本文开头那个翻车的根源。字符集只改解释规则,不改字节。存量数据是 iso_1 时期写坏的,改成 cp936 之后照样是坏的,而且原本碰巧能读的会读不出来——两头不讨好。正确姿势是先分类,再决定是否需要重建级操作。

二是只改服务端不改客户端。 服务端换成 cp936、客户端仍按 iso_1 连,两端不一致时 ASE 会在边界上做转换,转换表里没有的汉字直接落成 ?。这时候数据是新写坏的,比原来更糟。改服务端之前,客户端必须已经全部对齐。

三是误以为 dump/load 能跨字符集。 dump 文件里的字节是按服务器字符集落的,换字符集之后 load 回去照样按新字典解释,出来还是乱的。跨字符集迁移只有两条路:bcp 配合 -J 逐表导,或者 ddlgen 出结构 + 数据导出重灌。别拿备份文件赌。

四是 like '%?%' 当筛查工具。 业务里本来就有合法的问号("是否确认?"),用它统计脏数据永远对不上。判据必须在字节层:连续 0x3F、datalength 与 char_length 的比值,两个指标一起看。

五是以为 bytes = chars 就说明没坏。 单字节字符集下中文显示成 ? 的时候 datalength 与 char_length 恰好相等,因为字节已经被替换掉了。这个比值只能证明"数据是双字节存的",不能证明"数据是对的",必须叠加二进制看有没有 0x3F。

六是改完字符集不补统计信息。 重建库之后所有表统计信息为空,优化器只能瞎猜,执行计划可能从索引扫描退化成全表扫描,业务感觉"治理之后更慢了"。重建、灌数据、update statistics 是不可拆的动作组。

七是把 utf8 当默认正确选项。 utf8 一劳永逸,但中文三字节,varchar(50) 只放得下十六个汉字,老系统里大量"刚好够用"的列宽会集体截断,索引键长也随之膨胀。空间与列宽评估没做完就切 utf8,是把字符集问题换成容量问题。

八是以为 sortorder 改了只影响排序。 排序规则同时决定比较语义:大小写敏感、重音敏感、尾随空格处理都在里面。改完之后 where name = 'ACME' 能不能命中 acme 都可能变,唯一索引的唯一性判定也跟着变——原来能插进去的两条记录可能突然冲突,必须在测试库先跑全量唯一性检查。

九是忘了 locales.dat 是每台机器一份。 A 服务器改好验证通过,B 应用服务器上还是旧值,于是"有的节点正常有的节点乱"。多节点部署里出现频率极高。

十是治理完不做长时间验证。 字符集问题有 latency:当天数据是对的,月底跑批、跨库同步、报表导出时才暴露。治理后头两周每天对一次丢字行数与前十大报表结果,比任何"应该没问题"的承诺都可靠。
免责申明1、欢迎访问本站,本文内容及相关资源来源于网络,版权归版权方所有!本站原创内容版权归本站所有,请勿转载!
2、本文内容仅代表作者观点,不代表本站立场,作者自负,本站资源仅供学习研究,请勿非法使用,否则后果自负!请下载后24小时内删除!
3、本文内容,包括但不限于源码、文字、图片等,仅供参考。本站不对其安全性,正确性等作出保证。但本站会尽量审核会员发表的内容。
4、如本帖侵犯到任何版权问题,请立即告知本站 ,本站将及时删除并致以最深的歉意!客服邮箱:admin@dbabbs.com
您需要登录后才可以回帖 登录 | 用户注册

本版积分规则

Archiver|小黑屋|DBA论坛中国 ( 鲁ICP备20017503号-2 )

GMT+8, 2026-11-22 05:08 , Processed in 0.024768 second(s), 9 queries , MemCached On.

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表