yayv http://yayv.javaeye.com UTF-8 Copyright 2003-2008, JavaEye.com http://blogs.law.harvard.edu/tech/rss JavaEye - 做最棒的软件开发交流社区 D语言的UTF支持 yayv 作者: yayv  链接：http://yayv.javaeye.com/blog/73856  发表时间: 2007年04月24日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

    这几天在做一个读取UTF8文件的功能，其中包括中英文。
 
   在UTF8中，不同的字符集下的字符宽度是不等的，比如 英文和符号都用1个Byte来表示，中文就需要用2-3个byte来表示，因此在从一个UTF8字符串中获取一个字符的时候就需要先判断该字符应该占几个字节。

   根据UTF8 编码, 首字节的编码包含了整个字符占用几个字节的 信息，参见下表(右边一栏为UTF8编码)

U-00000000 - U-0000007F: 0xxxxxxx
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF: 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
xxx 的位置由字符编码数的二进制表示的位填入. 越靠右的 x 具

知道了这些知识，基本就可以自己写段代码出来来截取所需要的字符个数了。
D 代码
 
  1. int u8CharWidth(char[] u8string, uint start)    
  2. {    
  3.    
  4.   
  5.     if((u8string[start] & 0xFE) == 0xFC)    
  6.     {    
  7.         return 6;    
  8.     }    
  9.         
  10.     if((u8string[start] & 0xFC) == 0xF8)    
  11.     {    
  12.         return 5;    
  13.     }    
  14.     
  15.     if((u8string[start] & 0xF8) == 0xF0)    
  16.     {    
  17.         return 4;    
  18.     }    
  19.     
  20.     if((u8string[start] & 0xF0) == 0xE0)    
  21.     {    
  22.         return 3;    
  23.     }    
  24.     
  25.     if((u8string[start] & 0xE0) == 0xC0)    
  26.     {    
  27.         return 2;    
  28.     }    
  29.     
  30.     if((u8string[start] & 0x80) == 0x00)    
  31.     {    
  32.         return 1;    
  33.     }    
  34.     
  35.     return -1;    
  36. }    

这个功能在 D语言的标准库 phobos 中是有的， 参见  std.utf 包的 stride函数。

在std.utf包中，这个功能使用了一个 256个自己的查找表，直接查找返回字节长度。

不过，上面的代码也好还是 std.utf 包中的函数也好，都没有对后续字节进行验证，并不能保证指定宽度的字节是一个正确的utf8字符。这一点还需要使用者在使用时自行判断。

另：在 std.utf 包中常用的 utf 字符处理的功能都有了，只需要简单组合就可以实现自己的应用了，很是方便。

已有 0 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Tue, 24 Apr 2007 14:47:55 +0800 http://yayv.javaeye.com/blog/73856 http://yayv.javaeye.com/blog/73856