如何让Java的文件加载支持有BOM的文件？ - TinyZ's Blog

TinyZ

找不到相关结果。

主题色相

250

壁纸设置

文章布局

659 字

3 分钟

如何让Java的文件加载支持有BOM的文件？

2022-10-15

JAVA

/

FileInputStream

/

BOM

Java的FileInputStream提供最基本的文件加载功能。不支持BOM头，直接使用会错误的将无意义的BOM信息当做正文内容加载进来。

本文旨在找到通用的方式处理BOM头，并以UTF系列编码为例。需要扩展支持GB 18030等其他字符编码规范定义的特殊BOM，可以自行扩展。

有很多开源库和工具支持UTF系列编码。例如：Apache Commons-io。但是不支持GB 18030或者其他编码的BOM，这也是为什么写本文重要原因之一。

1
try (FileInputStream fis = new FileInputStream(file);
2
        BomInputStream bis = new BomInputStream(fis);
3
        BufferedReader reader = new BufferedReader(new InputStreamReader(bis, bis.getBomCharset()))) {
4
    reader.lines()
5
            .forEach(line -> /*...*/);
6
} catch (Exception e) {
7
    //    handle exception.
8
}

在BOM_PREFIX_ARRAY中定义你所需的BOM头格式。

详细的BomInputStream实现源码：

1
public final class BomInputStream extends PushbackInputStream {
2

3
    private static final int MAX_BOM_SIZE = 4;
4

5
    private static final ByteOrderMark[] BOM_PREFIX_ARRAY = new ByteOrderMark[]{
6
            new ByteOrderMark(Charset.forName("UTF-32BE"), (byte) 0x00, (byte) 0x00, (byte) 0xFE, (byte) 0xFF),
7
            new ByteOrderMark(Charset.forName("UTF-32LE"), (byte) 0xFF, (byte) 0xFE, (byte) 0x00, (byte) 0x00),
8
            new ByteOrderMark(StandardCharsets.UTF_8, (byte) 0xEF, (byte) 0xBB, (byte) 0xBF),
9
            new ByteOrderMark(StandardCharsets.UTF_16BE, (byte) 0xFE, (byte) 0xFF),
10
            new ByteOrderMark(StandardCharsets.UTF_16LE, (byte) 0xFF, (byte) 0xFE)
11
    };
12

13
    private final Charset charset;
14

15
    public BomInputStream(InputStream in) throws IOException {
16
        super(in, MAX_BOM_SIZE);
17
        this.charset = this.checkAndSkipBom(in);
18
    }
19

20
    Charset checkAndSkipBom(InputStream in) throws IOException {
21
        // if file without BOM mark, unread all bytes
22
        Charset encoding = StandardCharsets.UTF_8;
23
        int n, unread;
24
        byte[] bom = new byte[MAX_BOM_SIZE];
25
        unread = n = in.read(bom, 0, bom.length);
26
        //
27
        for (ByteOrderMark mark : BOM_PREFIX_ARRAY) {
28
            boolean match = true;
29
            for (int i = 0; i < mark.bytes.length; i++) {
30
                if (mark.bytes[i] != bom[i]) {
31
                    match = false;
32
                    break;
33
                }
34
            }
35
            if (match) {
36
                encoding = mark.charset;
37
                unread = n - mark.bytes.length;
38
                break;
39
            }
40
        }
41
        if (unread > 0)
42
            this.unread(bom, (n - unread), unread);
43
        return encoding;
44
    }
45

46
    public Charset getBomCharset() {
47
        return this.charset;
48
    }
49

50
    static class ByteOrderMark {
51

52
        private final Charset charset;
53
        private final byte[] bytes;
54

55
        public ByteOrderMark(Charset charset, byte... bytes) {
56
            this.charset = charset;
57
            this.bytes = bytes;
58
        }
59
    }
60
}

snakeyaml #

假如你的项目中使用Spring Framework，那么使用yaml内置的UnicodeReader是一个不错的选择。支持UTF-16和UTF-8，不支持UTF-32的BOM头。

很多类库会提供UnicodeReader，

UnicodeReader核心方法如下：

1
protected void init() throws IOException {
2
    if (this.internalIn2 == null) {
3
        byte[] bom = new byte[3];
4
        int n = this.internalIn.read(bom, 0, bom.length);
5
        Charset encoding;
6
        int unread;
7
        if (bom[0] == -17 && bom[1] == -69 && bom[2] == -65) {
8
            encoding = UTF8;
9
            unread = n - 3;
10
        } else if (bom[0] == -2 && bom[1] == -1) {
11
            encoding = UTF16BE;
12
            unread = n - 2;
13
        } else if (bom[0] == -1 && bom[1] == -2) {
14
            encoding = UTF16LE;
15
            unread = n - 2;
16
        } else {
17
            encoding = UTF8;
18
            unread = n;
19
        }
20

21
        if (unread > 0) {
22
            this.internalIn.unread(bom, n - unread, unread);
23
        }
24

25
        CharsetDecoder decoder = encoding.newDecoder().onUnmappableCharacter(CodingErrorAction.REPORT);
26
        this.internalIn2 = new InputStreamReader(this.internalIn, decoder);
27
    }
28
}

Apache Commons-io #

使用BOMInputStream替代。核心加载方法如下：

1
public int read(byte[] buf, int off, int len) throws IOException {
2
    int firstCount = 0;
3
    int b = 0;
4

5
    while(len > 0 && b >= 0) {
6
        b = this.readFirstBytes();
7
        if (b >= 0) {
8
            buf[off++] = (byte)(b & 255);
9
            --len;
10
            ++firstCount;
11
        }
12
    }
13

14
    int secondCount = this.in.read(buf, off, len);
15
    return secondCount < 0 ? (firstCount > 0 ? firstCount : -1) : firstCount + secondCount;
16
}

支持与分享

如果这篇文章对你有帮助，欢迎分享给更多人或赞助支持！

如何让Java的文件加载支持有BOM的文件？

https://tinyzzh.github.io/posts/2022-10-15-java_remove_bom/

作者

TinyZ Zzh

发布于

2022-10-15

许可协议

CC BY-NC-SA 4.0

详解Java的统一JVM日志框架

详解Java的 GCRoot

相关文章智能推荐

Struct Util 权威指南 - 配置文件的热重载

JAVA 2023-05-01

详解Java的 Stream

JAVA 2022-11-19

详解Java的 ArrayList

JAVA 2022-11-18

详解Java的 GCRoot

JAVA 2022-10-12

详解Java的 StringTable

JAVA 2022-10-05

随机文章随机推荐

评论区

分享你的想法，与大家交流讨论

文章目录