«
用PHP对GB编码到UTF-8编码的动态转换

时间：2008-5-31    作者：Deri    分类： 分享 

   <p>　　用ip2addr函数直接读取IP数据库文件是效率最高的，相比用MySQL数据库存储IP数据，用SQL查询是效率最低的。但是IP数据库文件QQWry.dat是GB2312编码的。现在我需要UTF-8编码的地理位置结果。如果用MySQL方法，可以在数据存入数据库时就转换为UTF-8编码，一劳永逸。但是QQWry.dat文件又无法修改，只能把ip2addr函数的输出结果再进行动态转换。</p><p>　　动态转换GB->UTF-8编码至少有四种方法：</p><p>　　用PHP的iconv扩展转换</p><p>　　用PHP的mb_string扩展转换</p><p>　　用对换表转换，对换表存储在MySQL数据库中</p><p>　　用对换表转换，对换表存储在文本文件中</p><p>　　前两种方法要服务器作了相应设置（编译安装了相应扩展）才能使用。我的虚拟主机没有这两个扩展，只好考虑后两种方法。前两个方法本文也不进行测评。</p><p>　　测评程序如下（func_ip.php参见《IP地址->地理位置转换的测评》一文）：</p><code><?php<br />require_once ("func_ip.php");<br />function u2utf8($c) {<br />　$str = "";<br />　if ($c < 0x80) {<br />　　$str .= $c;<br />　} elseif ($c < 0x800) {<br />　　$str .= chr(0xC0 | $c >> 6);<br />　　$str .= chr(0x80 | $c & 0x3F);<br />　} elseif ($c < 0x10000) {<br />　　$str .= chr(0xE0 | $c >> 12);<br />　　$str .= chr(0x80 | $c >> 6 & 0x3F);<br />　　$str .= chr(0x80 | $c & 0x3F);<br />　} elseif ($c < 0x200000) {<br />　　$str .= chr(0xF0 | $c >> 18);<br />　　$str .= chr(0x80 | $c >> 12 & 0x3F);<br />　　$str .= chr(0x80 | $c >> 6 & 0x3F);<br />　　$str .= chr(0x80 | $c & 0x3F);<br />　}<br />　return $str;<br />}<br />function GB2UTF8_SQL($strGB) {<br />　if (!trim($strGB)) return $strGB;<br />　$strRet = "";<br />　$intLen = strlen($strGB);<br />　for ($i = 0; $i < $intLen; $i++) {<br />　　if (ord($strGB{$i}) > 127) {<br />　　　　$strCurr = substr($strGB, $i, 2);<br />　　　　$intGB = hexdec(bin2hex($strCurr)) - 0x8080;<br />　　　　$strSql = "SELECT code_unicode FROM nnstats_gb_unicode<br />　　　　　WHERE code_gb = ".$intGB." LIMIT 1"<br />　　　　;<br />　　　　$resResult = mysql_query($strSql);<br />　　　　if ($arrCode = mysql_fetch_array($resResult)) $strRet .= u2utf8($arrCode["code_unicode"]);<br />　　　　else $strRet .= "??";<br />　　　　$i++;<br />　　} else {<br />　　　　$strRet .= $strGB{$i};<br />　　}<br />　}<br />　return $strRet;<br />}<br />function GB2UTF8_FILE($strGB) {<br />　if (!trim($strGB)) return $strGB;<br />　$arrLines = file("gb_unicode.txt");<br />　foreach ($arrLines as $strLine) {<br />　　$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));<br />　}<br />　$strRet = "";<br />　$intLen = strlen($strGB);<br />　for ($i = 0; $i < $intLen; $i++) {<br />　　if (ord($strGB{$i}) > 127) {<br />　　　　$strCurr = substr($strGB, $i, 2);<br />　　　　$intGB = hexdec(bin2hex($strCurr)) - 0x8080;<br />　　　　if ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);<br />　　　　else $strRet .= "??";<br />　　　　$i++;<br />　　} else {<br />　　　　$strRet .= $strGB{$i};<br />　　}<br />　}<br />　return $strRet;<br />}<br />function EncodeIp($strDotquadIp) {<br />　$arrIpSep = explode('.', $strDotquadIp);<br />　if (count($arrIpSep) != 4) return 0;<br />　$intIp = 0; 　<br />　foreach ($arrIpSep as $k => $v) $intIp += (int)$v * pow(256, 3 - $k);<br />　return $intIp;<br />　//return sprintf('%02x%02x%02x%02x', $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);<br />}<br />function GetMicroTime() {<br />　list($msec, $sec) = explode(" ", microtime());<br />　return ((double)$msec + (double)$sec);<br />}<br />for ($i = 0; $i < 100; $i++) { // 随机产生100个ip地址<br />　$strIp = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255);<br />　$arrAddr[$i] = ip2addr(EncodeIp($strIp));<br />}<br />$resConn = mysql_connect("localhost", "netnest", "netnest");<br />mysql_select_db("test");<br />// 测评MySQL查询的编码转换<br />$dblTimeStart = GetMicroTime();<br />for ($i = 0; $i < 100; $i++) {<br />　$strUTF8Region = GB2UTF8_SQL($arrAddr[$i]["region"]);<br />　$strUTF8Address = GB2UTF8_SQL($arrAddr[$i]["address"]);<br />}<br />$dblTimeDuration = GetMicroTime() - $dblTimeStart;<br />// 测评结束并输出结果<br />echo $dblTimeDuration; echo "<br />";<br />// 测评文本文件查询的编码转换<br />$dblTimeStart = GetMicroTime();<br />for ($i = 0; $i < 100; $i++) {<br />　$strUTF8Region = GB2UTF8_FILE($arrAddr[$i]["region"]);<br />　$strUTF8Address = GB2UTF8_FILE($arrAddr[$i]["address"]);<br />}<br />$dblTimeDuration = GetMicroTime() - $dblTimeStart;<br />// 测评结束并输出结果<br />echo $dblTimeDuration; echo "<br />";<br />?></code><p>　　测评两次结果（精确到3位小数，单位是秒）：</p>
<p> </p>

   <p>　　MySQL查询转换：0.112</p><p>　　文本查询转换：10.590</p><p>　　MySQL查询转换：0.099</p><p>　　文本查询转换：10.623</p><p>　　可见这次是MySQL方法遥遥领先于文件查询法。但是现在还不急于使用MySQL方法，因为文本文件方法之所以如此耗时，主要因为它每次转换都要把整个gb_unicode.txt读入内存，而gb_unicode.txt又是文本文件，格式如下：</p><code>0x2121 　0x3000 　# IDEOGRAPHIC SPACE<br />0x2122 　0x3001 　# IDEOGRAPHIC COMMA<br />0x2123 　0x3002 　# IDEOGRAPHIC FULL STOP<br />0x2124 　0x30FB 　# KATAKANA MIDDLE DOT<br />0x2125 　0x02C9 　# MODIFIER LETTER MACRON (Mandarin Chinese first tone)<br />……<br />0x552A 　0x6458 　# <CJK><br />0x552B 　0x658B 　# <CJK><br />0x552C 　0x5B85 　# <CJK><br />0x552D 　0x7A84 　# <CJK><br />……<br />0x777B 　0x9F37 　# <CJK><br />0x777C 　0x9F3D 　# <CJK><br />0x777D 　0x9F3E 　# <CJK><br />0x777E 　0x9F44 　# <CJK></code></p><p>　　文本文件效率较低，于是考虑把文本文件转换为二进制文件，然后用折半法查找这个文件，而不需要把整个文件读入内存。文件格式为：文件头2字节，存储记录数；接着一条接一条记录存入文件，每条记录4字节，前2字节对应GB代码，后2字节对应Unicode代码。转换程序如下：</p><code><?php<br />$arrLines = file("gb_unicode.txt");<br />foreach ($arrLines as $strLine) {<br />　$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));<br />}<br />ksort($arrCodeTable);<br />$intCount = count($arrCodeTable);<br />$strCount = chr($intCount % 256) . chr(floor($intCount / 256));<br />$fileGBU = fopen("gbu.dat", "wb");<br />fwrite($fileGBU, $strCount);<br />foreach ($arrCodeTable as $k => $v) {<br />　$strData = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));<br />　fwrite($fileGBU, $strData);<br />}<br />fclose($fileGBU);<br />?></code><p>　　执行程序后就获得了二进制的GB->Unicode对照表gbu.dat，并且数据记录按GB代码排了序，便于折半法查找。使用gbu.dat进行转码的函数如下：</p>
 <p> </p>

   <code>function GB2UTF8_FILE1($strGB) {<br />　if (!trim($strGB)) return $strGB;<br />　$fileGBU = fopen("gbu.dat", "rb");<br />　$strBuf = fread($fileGBU, 2);<br />　$intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});<br />　$strRet = "";<br />　$intLen = strlen($strGB);<br />　for ($i = 0; $i < $intLen; $i++) {<br />　　if (ord($strGB{$i}) > 127) {<br />　　　　$strCurr = substr($strGB, $i, 2);<br />　　　　$intGB = hexdec(bin2hex($strCurr)) - 0x8080;<br />　　　　$intStart = 1;<br />　　　　$intEnd = $intCount;<br />　　　　while ($intStart < $intEnd - 1) { // 折半法查找<br />　　　　　$intMid = floor(($intStart + $intEnd) / 2);<br />　　　　　$intOffset = 2 + 4 * ($intMid - 1);<br />　　　　　fseek($fileGBU, $intOffset);<br />　　　　　$strBuf = fread($fileGBU, 2);<br />　　　　　$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});<br />　　　　　if ($intGB == $intCode) {<br />　　　　　　$intStart = $intMid;<br />　　　　　　break;<br />　　　　　}<br />　　　　　if ($intGB > $intCode) $intStart = $intMid;<br />　　　　　else $intEnd = $intMid;<br />　　　　}<br />　　　　$intOffset = 2 + 4 * ($intStart - 1);<br />　　　　fseek($fileGBU, $intOffset);<br />　　　　$strBuf = fread($fileGBU, 2);<br />　　　　$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});<br />　　　　if ($intGB == $intCode) {<br />　　　　　$strBuf = fread($fileGBU, 2);<br />　　　　　$intCodeU = ord($strBuf{0}) + 256 * ord($strBuf{1});<br />　　　　　$strRet .= u2utf8($intCodeU);<br />　　　　} else {<br />　　　　　$strRet .= "??";<br />　　　　}<br />　　　　$i++;<br />　　} else {<br />　　　　$strRet .= $strGB{$i};<br />　　}<br />　}<br />　return $strRet;<br />}</code><p>　　把其加到原来的测评程序，对三种方法同时测评2次得到数据（精确到3位小数，单位：秒）：</p></p><p>　　MySQL方法：0.125</p><p>　　文本文件方法：10.873</p><p>　　二进制文件折半法：0.106</p><p>　　MySQL方法：0.102</p><p>　　文本文件方法：10.677</p><p>　　二进制文件折半法：0.092</p><p>　　可见二进制文件折半法还比MySQL法略有优势。但是上述测评都是对短的地理位置进行转码，如果对较长的文本转码又如何呢？我找来5个Blog的RSS 2.0文件，都是GB2312编码。测评三种方法对5个文件编码耗费的时间，2次测量数据如下（精确到3位小数，单位：秒）：</p><p>　　MySQL方法：7.206</p><p>　　文本文件方法：0.772</p><p>　　二进制文件折半法：5.022</p><p>　　MySQL方法：7.440</p><p>　　文本文件方法：0.766</p><p>　　二进制文件折半法：5.055</p><p>　　可见对长的文本是用文本文件的方法最优，因为转码对照表读入内存后，转码就可以很高效了。既然如此，我们还可以尝试改进一下，把文本文件方法改为：转码对照表从二进制文件gbu.dat读入内存，而不是文本文件。测评数据如下（精度和单位同上）：</p><p>　　从文本文件读入对照表：0.766</p><p>　　从二进制文件读入对照表：0.831</p><p>　　从文本文件读入对照表：0.774</p><p>　　从二进制文件读入对照表：0.833</p><p>　　表明这次改进失败了，从文本文件读入转码对照表更高效。</p><p>　　总结：用PHP对GB编码到UTF-8编码的动态转换，如果每次转换的文本很小，适宜用二进制文件结合折半法转换；如果每次转换的文本较大，适宜用文本文件存储转码对照表，并在转换前一次性把对照表读入内存。</p></p>