5 g' u+ I5 v) V+ p 为什么会有“?”号# K1 P: |7 @0 k, d* R8 n P; F2 w
2 U: r- A) g7 ] 上文说过,异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B,转换的步骤为:先把A转化为Unicode,再把Unicode转化为B。5 [+ z9 ~8 _5 K9 N
! Z" ^" s' G v a$ u# f9 H% \; U 举例说明。有GB2312中有一个汉字“李”,其编码为“C0EE”,欲转化为ISO8859-1编码。步骤为:先把“李”字转化为Unicode,得到“674E”,再把“674E”转化为ISO8859-1字符。当然,这个映射不会成功,因为ISO8859-1中根本就没有与“674E”对应的字符。4 G: N, I5 g6 U6 B
# t6 a1 A" X* I' b
当映射不成功时,问题就发生了!当从某语言向Unicode转化时,如果在某语言中没有该字符,得到的将是Unicode的代码“\uffffd”(“\u”表示是Unicode编码,)。而从Unicode向某语言转化时,如果某语言没有对应的字符,则得到的是“0x3f”(“?”)。这就是“?”的由来。 # C/ \- f1 i. d5 A" a/ M& W* L 6 q5 [1 D( c* n( G- z- r 例如:把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作,得到的结果是“\ufffd\u554a”,再println出来,得到的结果将是“?啊”,因为“0x80 0x40”是GBK中的字符,在GB2312中没有。 ' d. v: h7 V9 t' q8 Q; b & B/ x2 M& H+ @ 再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"进行new String (buf.getBytes("GBK"))操作,得到的结果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中没有对应的字符,得到“3f”,“\u00ec”对应着“a8ac”,“\u00e9”对应着“a8a6”,“0046”对应着“46”(因为这是ASCII字符),“\u00bb”没找到,得到“3f”,最后,“\u00f9”对应着“a8b4”。把这个字符串println一下,得到的结果是“?ìéF?ù”。看到没?这里并不全是问号,因为GBK与Unicode映射的内容中除了汉字外还有字符,本例就是最好的明证。 ; G" M2 o! r2 H O6 V% I9 Z. f 4 }$ G5 N, |2 _9 p 所以,在汉字转码时,如果发生错乱,得到的不一定都是问号噢!不过,错了终究是错了,50步和100步并没有质的差别。# T# Z& X [. M2 w8 I( f
" r1 P+ b( ^0 c6 i
或者会问:如果源字符集中有,而Unicode中没有,结果会如何?回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的,那就是源字符集不够规范。在Java中,如果发生这种情况,是会抛出异常的。 3 k( n, R( d1 z: m1 F1 O! A 3 }- U" l8 f1 ]什么是UTF ' e' h' E' y( x, D( r- C( N8 Q. k1 ]8 O' Z3 N
UTF,是Unicode Text Format的缩写,意为Unicode文本格式。对于UTF,是这样定义的:6 G4 \0 r; Y9 D6 N
+ v( E: ]& B$ t* z+ L
(1)如果Unicode的16位字符的头9位是0,则用一个字节表示,这个字节的首位是“0”,剩下的7位与原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(与源Unicode字符是相同的);7 W4 N5 |( [% |8 }" F# h
3 U/ B- O) T- C) n0 t: f/ s (2)如果Unicode的16位字符的头5位是0,则用2个字节表示,首字节是“110”开头,后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头,后面的6位与源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),转化后为“c99d”(1100 1001 1001 1101); " a0 G$ T7 M( j3 T5 ]( G. ?* O$ d* P9 Y7 v
(3)如果不符合上述两个规则,则用三个字节表示。第一个字节以“1110”开头,后四位为源字符的高四位;第二个字节以“10”开头,后六位为源字符中间的六位;第三个字节以“10”开头,后六位为源字符的低六位;如“\u9da7”(1001 1101 1010 0111),转化为“e9b6a7”(1110 1001 1011 0110 1010 0111); 7 l- C$ o4 }# I) ^ 9 L. {1 j+ Y# ~1 n+ P 可以这么描述JAVA程序中Unicode与UTF的关系,虽然不绝对:字符串在内存中运行时,表现为Unicode代码,而当要保存到文件或其它介质中去时,用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。 / }# g* D% o1 S9 x& u& Y: n- I) ?5 b
好了,基础性的论述差不多了,下面进入正题。 / i# i! w3 M; u, Y: z! v) W; S6 k. b" B+ G, {
先把这个问题想成是一个黑匣子。先看黑匣子的一级表示: $ A) b# A% a5 `; R# [2 {, H6 ]+ X
input(charsetA)->process(Unicode)->output(charsetB) 5 q5 g2 Z+ D+ L6 |6 L 7 \: @4 t3 u* }# |/ M9 K 简单,这就是一个IPO模型,即输入、处理和输出。同样的内容要经过“从charsetA到unicode再到charsetB”的转化。' R5 J/ o6 h1 X. z/ J9 U% N
9 c/ L2 y# W3 g1 C* W 再看二级表示: 6 g" Q$ l- B! R, D- w n2 v1 W( A2 R* P2 B0 F$ _' L, OSourceFile(jsp,java)->class->output8 ?0 D, @' c- h. y9 h6 g) @' |, q- d
4 w& T; ]( t, I 在这个图中,可以看出,输入的是jsp和java源文件,在处理过程中,以Class文件为载体,然后输出。再细化到三级表示:7 u! O) y/ O l y( j0 M
) n$ P! W- @1 {8 w9 F
jsp->temp file->class->browser,os console,db F% P; J! J5 w- ~2 X+ {# Z 7 U( @4 Q* F1 _1 C1 A7 m' oapp,servlet->class->browser,os console,db ' r/ R2 U/ ]+ w0 c 2 u* ^7 S. F1 K* z. v" ~ 这个图就更明白了。Jsp文件先生成中间的Java文件,再生成Class。而Servlet和普通App则直接编译生成Class。然后,从Class再输出到浏览器、控制台或数据库等。; e# K$ [7 V: ~3 E- j" I
# b, O, u2 n t+ M- J" a
JSP:从源文件到Class的过程- Z" A' }$ z, e5 I! y
! e! M4 Y, J( f% s/ y Jsp的源文件是以“.jsp”结尾的文本文件。在本节中,将阐述JSP文件的解释和编译过程,并跟踪其中的中文变化。9 I7 ^" [; I7 d
u6 E* p- z# ^) ~
1、JSP/Servlet引擎提供的JSP转换工具(jspc)搜索JSP文件中用<%@ page contentType ="text/html; charset=<Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定<Jsp-charset>,则取JVM中的默认设置file.encoding,一般情况下,这个值是ISO8859-1;+ K* a5 x4 g9 }6 d# d
3 f2 g, Y0 h+ j5 N/ W G& r
2、jspc用相当于“javac –encoding <Jsp-charset>”的命令解释JSP文件中出现的所有字符,包括中文字符和ASCII字符,然后把这些字符转换成Unicode字符,再转化成UTF格式,存为JAVA文件。ASCII码字符转化为Unicode字符时只是简单地在前面加“00”,如“A”,转化为“\u0041”(不需要理由,Unicode的码表就是这么编的)。然后,经过到UTF的转换,又变回“41”了!这也就是可以使用普通文本编辑器查看由JSP生成的JAVA文件的原因;& ~2 t+ |1 Q9 r! Q# ]
1 G5 G$ h+ G1 d) o( z3 { 3、引擎用相当于“javac –encoding UNICODE”的命令,把JAVA文件编译成CLASS文件;* m$ g. f$ c+ D7 W
" V* D ^- F7 @% `
先看一下这些过程中中文字符的转换情况。有如下源代码:$ _$ [( ^* o3 W; ?0 r
* n; C( ?9 ?6 A. e' G& D( W0 F
<%@ page contentType="text/html; charset=gb2312"%> ) }; N/ t7 U6 C4 } w M4 _) i<html><body>2 d7 I- [9 ?1 m, U, r, }
<% ( I) U- s5 G- D+ k0 f& d! m; c" _ String a="中文"; ; e; L: @. y w) H out.println(a); - R2 N4 ?: F: ^$ X+ R" q; \%>3 w9 g. p5 @* V$ q) m i
</body></html> u* t5 H2 t1 T 这段代码是在UltraEdit for Windows上编写的。保存后,“中文”两个字的16进制编码为“D6 D0 CE C4”(GB2312编码)。经查表,“中文”两字的Unicode编码为“\u4E2D\u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。打开引擎生成的由JSP文件转变而成的JAVA文件,发现其中的“中文”两个字确实被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件编译生成的CLASS文件,发现结果与JAVA文件中的完全一样。/ m" V/ p5 \- O1 C+ S" m6 b4 n0 N: ?
! O# H0 S# l! Y, T5 p6 s& R 再看JSP中指定的CharSet为ISO-8859-1的情况。; T1 V+ V5 D$ e8 R' g( m' J
; z' S5 U! O- t- p6 o0 q* O
5 |% h0 n! u) n, \* l2 X
<%@ page contentType="text/html; charset=ISO-8859-1"%>$ M$ O% X7 I2 O3 A' ~% Q
<html><body> 6 i. ^1 G& S0 a; g$ ~7 F1 ^: V<%( ^3 c9 o. B r/ |
String a="中文";; P) _! ~, A0 Y% L7 ]/ V* y
out.println(a);# c$ o: C; Z$ L8 i
%> ; A \4 r# ^% H</body></html># x* C6 w' I9 O2 d
同样,该文件是用UltraEdit编写的,“中文”这两个字也是存为GB2312编码“D6 D0 CE C4”。先模拟一下生成的JAVA文件和CLASS文件的过程:jspc用ISO-8859-1来解释“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,且是拉丁语系,其映射规则就是在每个字节前加“00”,所以,映射后的Unicode编码应为“\u00D6\u00D0\u00CE\u00C4”,转化成UTF后应该是“C3 96 C3 90 C3 8E C3 84”。好,打开文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示为“C3 96 C3 90 C3 8E C3 84”。2 U1 r2 L9 Y3 {/ a