使用Node.js处理前端代码文件的编码问题
使用NodeJS编写前端工具时,操作得最多的是文本文件,因此也就涉及到了文件编码的处理问题。我们常用的文本编码有UTF8和GBK两种,并且UTF8文件还可能带有BOM。在读取不同编码的文本文件时,需要将文件内容转换为JS使用的UTF8编码字符串后才能正常处理。
BOM的移除
BOM用于标记一个文本文件使用Unicode编码,其本身是一个Unicode字符("\uFEFF"),位于文本文件头部。在不同的Unicode编码下,BOM字符对应的二进制字节如下:
BytesEncoding ---------------------------- FEFFUTF16BE FFFEUTF16LE EFBBBFUTF8
因此,我们可以根据文本文件头几个字节等于啥来判断文件是否包含BOM,以及使用哪种Unicode编码。但是,BOM字符虽然起到了标记文件编码的作用,其本身却不属于文件内容的一部分,如果读取文本文件时不去掉BOM,在某些使用场景下就会有问题。例如我们把几个JS文件合并成一个文件后,如果文件中间含有BOM字符,就会导致浏览器JS语法错误。因此,使用NodeJS读取文本文件时,一般需要去掉BOM。例如,以下代码实现了识别和去除UTF8BOM的功能。
functionreadText(pathname){ varbin=fs.readFileSync(pathname); if(bin[0]===0xEF&&bin[1]===0xBB&&bin[2]===0xBF){ bin=bin.slice(3); } returnbin.toString('utf-8'); }
GBK转UTF8
NodeJS支持在读取文本文件时,或者在Buffer转换为字符串时指定文本编码,但遗憾的是,GBK编码不在NodeJS自身支持范围内。因此,一般我们借助iconv-lite这个三方包来转换编码。使用NPM下载该包后,我们可以按下边方式编写一个读取GBK文本文件的函数。
variconv=require('iconv-lite'); functionreadGBKText(pathname){ varbin=fs.readFileSync(pathname); returniconv.decode(bin,'gbk'); }
单字节编码
有时候,我们无法预知需要读取的文件采用哪种编码,因此也就无法指定正确的编码。比如我们要处理的某些CSS文件中,有的用GBK编码,有的用UTF8编码。虽然可以一定程度可以根据文件的字节内容猜测出文本编码,但这里要介绍的是有些局限,但是要简单得多的一种技术。
首先我们知道,如果一个文本文件只包含英文字符,比如HelloWorld,那无论用GBK编码或是UTF8编码读取这个文件都是没问题的。这是因为在这些编码下,ASCII0~128范围内字符都使用相同的单字节编码。
反过来讲,即使一个文本文件中有中文等字符,如果我们需要处理的字符仅在ASCII0~128范围内,比如除了注释和字符串以外的JS代码,我们就可以统一使用单字节编码来读取文件,不用关心文件的实际编码是GBK还是UTF8。以下示例说明了这种方法。
1.GBK编码源文件内容:
varfoo='中文';
2.对应字节:
76617220666F6F203D2027D6D0CEC4273B
3.使用单字节编码读取后得到的内容:
varfoo='{乱码}{乱码}{乱码}{乱码}';
4.替换内容:
varbar='{乱码}{乱码}{乱码}{乱码}';
5.使用单字节编码保存后对应字节:
76617220626172203D2027D6D0CEC4273B
6.使用GBK编码读取后得到内容:
varbar='中文';
这里的诀窍在于,不管大于0xEF的单个字节在单字节编码下被解析成什么乱码字符,使用同样的单字节编码保存这些乱码字符时,背后对应的字节保持不变。
NodeJS中自带了一种binary编码可以用来实现这个方法,因此在下例中,我们使用这种编码来演示上例对应的代码该怎么写。
functionreplace(pathname){ varstr=fs.readFileSync(pathname,'binary'); str=str.replace('foo','bar'); fs.writeFileSync(pathname,str,'binary'); }