Блог

Я пытаюсь загрузить файл json в формате UTF8 с диска, используя node.js (0.10.29) в Windows 8.1. Ниже приведен код, который выполняется:

 var http = require('http');
var utils = require('util');
var path = require('path');
var fs = require('fs');

var myconfig;
fs.readFile('./myconfig.json', 'utf8', function (err, data) {
    if (err) {
        console.log("ERROR: Configuration load - "   err);
        throw err;
    } else {
        try {
            myconfig = JSON.parse(data);
            console.log("Configuration loaded successfully");
        }
        catch (ex) {
            console.log("ERROR: Configuration parse - "   err);
        }


    }
});
  

Я получаю следующую ошибку, когда я запускаю это:

 SyntaxError: Unexpected token ´╗┐
    at Object.parse (native)
    ...
  

Теперь, когда я меняю кодировку файла (используя Notepad ) на ANSI, она работает без проблем.

Есть идеи, почему это так? Пока разработка выполняется в Windows, окончательное решение будет развернуто на множестве серверов, отличных от Windows, я беспокоюсь, что у меня возникнут проблемы на стороне сервера, если я, например, разверну файл ANSI в Linux.

Согласно моим поискам здесь и через Google, код должен работать в Windows, поскольку я специально говорю ему ожидать файл UTF-8.

Пример конфигурации, которую я читаю:

 {
    "ListenIP4": "10.10.1.1",
    "ListenPort": 8080
}
  

Согласно «fs.readFileSync (filename, ‘utf8’) не удаляет маркеры спецификации #1918», fs.readFile работает так, как задумано: спецификация не удаляется из заголовка файла UTF-8, если он существует.Это на усмотрение разработчика, чтобы справиться с этим.

Возможные обходные пути:

• data = data.replace(/^uFEFF/, ''); за https://github.com/joyent/node/issues/1918#issuecomment-2480359
• Преобразуйте входящий поток, чтобы удалить заголовок спецификации с помощью модуля NPM bomstrip для https://github.com/joyent/node/issues/1918#issuecomment-38491548

Вы получаете заголовок метки порядка байтов (BOM) файла UTF-8. Когда JSON.parse видит это, выдает синтаксическую ошибку (читай: ошибка «неожиданный символ»). Вы должны удалить метку порядка байтов из файла, прежде чем передавать его в JSON.parse :

 fs.readFile('./myconfig.json', 'utf8', function (err, data) {
    myconfig = JSON.parse(data.toString('utf8').replace(/^uFEFF/, ''));
});
// note: data is an instance of Buffer
  

Чтобы заставить это работать без этого, мне пришлось изменить кодировку с «UTF-8» на «UTF-8 без спецификации» с помощью Notepad (я предполагаю, что любой приличный текстовый редактор, а не Блокнот, имеет возможность выбирать этот тип кодировки).

Это решение означало, что специалисты по развертыванию могли без проблем выполнять развертывание в Unix, и я мог разрабатывать без ошибок во время чтения файла.

Что касается чтения файла, другим ответом, который я иногда получал в своих путешествиях, был знак вопроса, добавляемый перед началом содержимого файла при попытке использовать различные варианты кодирования. Естественно, при добавлении вопросительного знака или символов ANSI JSON.parse завершается с ошибкой.

Надеюсь, это кому-то поможет!

Новый ответ
Поскольку у меня была такая же проблема с несколькими разными форматами, я пошел дальше и создал npm, который пытается читать текстовые файлы и анализировать их как текст, независимо от исходного формата. (поскольку первоначальный вопрос заключался в том, чтобы прочитать .json, он идеально подойдет). (файлы без спецификации и неизвестной спецификации обрабатываются как ASCII / latin1)

https://www.npmjs.com/package/textfilereader

Поэтому измените код на

 var http = require('http');
var utils = require('util');
var path = require('path');
var fs = require('textfilereader');

var myconfig;
fs.readFile('./myconfig.json', 'utf8', function (err, data) {
    if (err) {
        console.log("ERROR: Configuration load - "   err);
        throw err;
    } else {
        try {
            myconfig = JSON.parse(data);
            console.log("Configuration loaded successfully");
        }
        catch (ex) {
            console.log("ERROR: Configuration parse - "   err);
        }
    }
});
  

Старый ответ

Столкнулся с этой проблемой сегодня и создал функцию для ее решения. Должен иметь очень маленький размер, предположим, что это лучше, чем принятое решение для замены.

 function removeBom(input) {
  // All alternatives found on https://en.wikipedia.org/wiki/Byte_order_mark
  const fc = input[0].charCodeAt(0).toString(16);
  switch (fc) {
    case 'efbbbf': // UTF-8
    case 'feff': // UTF-16 (BE)   UTF-32 (BE)
    case 'fffe': // UTF-16 (LE)
    case 'fffe0000': // UTF-32 (LE)
    case '2B2F76': // UTF-7
    case 'f7644c': // UTF-1
    case 'dd736673': // UTF-EBCDIC
    case 'efeff': // SCSU
    case 'fbee28': // BOCU-1
    case '84319533': // GB-18030
      return input.slice(1);
      break;
    default: 
      return input;
  }
}

const fileBuffer = removeBom(fs.readFileSync(filePath, "utf8"));