C++如何检测一个文本文件是否采用了BOM编码

必须用二进制模式读取前若干字节并比对固定序列：UTF-8 BOM为0xEF 0xBB 0xBF（3字节），UTF-16 LE为0xFF 0xFE（2字节），UTF-16 BE为0xFE 0xFF（2字节），UTF-32 LE为0xFF 0xFE 0x00 0x00（4字节），UTF-32 BE为0x00 0x00 0xFE 0xFF（4字节）；需检查file.gcount()确保实际读取长度，避免越界比较。

如何用C++读取文件前3字节判断BOM

直接读取文件开头几个字节，比依赖第三方库或系统API更可靠。BOM本质就是文件头部的特定字节序列，不同编码对应不同值，不需要解析整个文件。

• UTF-8 BOM是0xEF 0xBB 0xBF（3字节）
• UTF-16 LE BOM是0xFF 0xFE（2字节）
• UTF-16 BE BOM是0xFE 0xFF（2字节）
• UTF-32 LE BOM是0xFF 0xFE 0x00 0x00（4字节）
• UTF-32 BE BOM是0x00 0x00 0xFE 0xFF（4字节）

注意：BOM不是强制存在的，很多UTF-8文件根本不带BOM；Windows记事本默认加UTF-8 BOM，VS Code默认不加——这点常导致误判。

ifstream二进制模式读取+memcmp比对

必须用std::ios::binary打开，否则Windows下rn会被自动转换，破坏原始字节顺序。

std::ifstream file("test.txt", std::ios::binary);
if (!file.is_open()) return false;
std::array<uint8_t, 4> header{};
file.read(reinterpret_cast<char*>(header.data()), header.size());
file.close();

// 检查UTF-8 BOM
if (header[0] == 0xEF && header[1] == 0xBB && header[2] == 0xBF) {
    return Encoding::UTF8_BOM;
}
// 检查UTF-16 LE
if (header[0] == 0xFF && header[1] == 0xFE) {
    return Encoding::UTF16_LE;
}
// UTF-16 BE、UTF-32等同理判断

别用std::string接收头几个字节——它可能把0x00当结束符截断；也别用getline()，那是文本模式行为。

立即学习“C++免费学习笔记（深入）”；

为什么不能只靠file.tellg()或stat判断BOM

std::ifstream::tellg()在未读取前返回-1，且无法反映BOM存在与否；stat()只能拿到文件大小，和编码无关。

• BOM是内容特征，不是元数据
• 没有标准系统调用能“查询文件编码”，所有检测都基于采样字节
• 某些工具（如file命令）其实也是读头部+启发式匹配，不是魔法

试图绕过字节读取而用高级API（如std::codecvt）不仅过时，还可能因locale设置失败而抛异常。

实际检测时容易忽略的边界情况

文件小于BOM长度（比如只有2字节）时，read()实际读到的字节数少于预期，gcount()返回值必须检查，否则memcmp会越界比较垃圾内存。

• 读完立即调用file.gcount()确认真实读取字节数
• UTF-8 BOM必须严格匹配3字节；若文件只有2字节，即使前两字是0xEF 0xBB也不能判定为UTF-8 BOM
• 某些编辑器（如Notepad++）可能写入非标准BOM（如0xFF 0xFE 0x00），这种应视为损坏而非有效BOM

真正麻烦的不是识别BOM，而是识别后怎么处理：要不要跳过BOM再读？要不要按BOM指定编码重新解码？这些逻辑得紧贴后续使用场景定，BOM本身只是个线索。