Блог

Я работаю над проектом, который на своем базовом уровне анализирует файл csv и преобразует его так, чтобы в новый файл отображались только определенные столбцы, используя только определенные столбцы из проанализированного файла. Включая input .csv для справки.

 Co Code,Batch ID,File #,Reg Hours,O/T Hours,Reg Earnings,O/T 
Earnings,Hours 3 Code,Hours 3 Amount,Hours 3 Code,Hours 3 Amount,Hours 4 
Code,Hours 4 Amount,Hours 4 Code,Hours 4 Amount,Earnings 3 Code,Earnings 3 
Amount,Earnings 3 Code,Earnings 3 Amount,Earnings 4 Code,Earnings 4 
Amount,Earnings 4 Code,Earnings 4 Amount,Earnings 5 Code,Earnings 5 
Amount,Earnings 5 Code,Earnings 5 Amount,Temp Dept

83M,1,102,70.00,14.00,,,,,,,,,,,,,,,,,,,,,,,

83M,1,109,92.50,16.50,,,D,5.00,,,,,,,,,,,,,,,,,,,

83M,1,61,70.00,11.50,,,,,,,V,24.00,,,,,,,,,,,,,,,

83M,1,6384,69.00,15.50,,,D,9.50,,,,,,,,,,,,,,,,,,,

83M,1,6568,78.50,29.50,,,D,18.00,,,,,,,,,,,,,,,,,,,

83M,1,6583,84.50,32.50,,,D,10.00,,,,,,,,,,,,,,,,,,,

83M,1,6596,70.50,27.50,,,D,11.50,,,,,,,,,,,,,,,,,,,

83M,1,6627,95.50,23.50,,,D,12.50,,,,,,,,,,,,,,,,,,,

83M,1,6628,83.50,31.50,,,D,12.50,,,,,,,,,,,,,,,,,,,

83M,1,93,45.00,21.50,,,,,,,11,16.00,V,16.00,,,,,,,,,,,,,,,
  

Я обнаружил, что при использовании функции преобразования, предоставляемой fast-csv, есть один столбец, в частности, «Количество часов 3», которое сопоставляется с «D / T часами», который не возвращает никаких значений (при наличии некоторых) даже до возврата преобразованного объекта (см. Образец вывода объекта и образец вывода csv).).

 { 'Co Code': '83M',
  'Batch ID': '1',
  'File #': '93',
  'Reg Hours': '36.50',
  'O/T Hours': '10.00',
  'Reg Earnings': '',
  'O/T Earnings': '',
  'Hours 3 Code': '',
  'Hours 3 Amount': '',
  'Hours 4 Code': 'H',
  'Hours 4 Amount': '8.00',
  'Earnings 3 Code': '',
  'Earnings 3 Amount': '',
  'Earnings 4 Code': '',
  'Earnings 4 Amount': '',
  'Earnings 5 Code': '',
  'Earnings 5 Amount': '',
  'Temp Dept': '' }

Co Code,Batch Id,File #,Reg Hours,O/T Hours,D/T Hours,Reg Earnings,OT 
Earnings,DT Earnigs,Pay Period Start,Pay Period End,Total
83M,1,6596,30.00,,,,,,12/30/18,1/12/19,
83M,1,6628,66.50,19.00,,,,,12/30/18,1/12/19,
83M,1,6650,20.50,18.50,,,,,12/30/18,1/12/19,
  

Интересно, что я могу ввести строковый литерал в качестве значения для ‘D / T часов, и оно появится в выходном файле .csv. При ближайшем рассмотрении я обнаруживаю, что если я закомментирую функцию преобразования, выходной csv, хотя и в необработанной, нетрансформированной форме, заполняется значениями «Количество часов 3» (см. Ниже). Я также включил свой код.

 // Process the file by moving the cells and inserting the start and end date
const processFile = (fileName, file) => {
  csv
    .fromPath(basePath   file, {
      ignoreEmpty: false,
      headers: true,
      discardUnmappedColumns: true,
      oobjectMode: true
    })
    .transform(obj => {
      [startDate, endDate] = fileName;

      console.log(obj); // Does not include the Hours 3 Amount property

      if (obj amp;amp; obj['Co Code'] != '') {
        return {
          'Co Code': obj['Co Code'],
          'Batch Id': obj['Batch ID'],
          'File #': obj['File #'],
          'Reg Hours': obj['Reg Hours'],
          'O/T Hours': obj['O/T Hours'],
          'D/T Hours': obj['Hours 3 Amount'],
          'Reg Earnings': '',
          'OT Earnings': '',
          'DT Earnigs': '',
          'Pay Period Start': startDate,
          'Pay Period End': endDate,
          Total: ''
        };
      }
    })
    .on('error', () => {
      return false;
    })
    .pipe(csv.createWriteStream())
    .pipe(
      fs.createWriteStream('./working-files/Payroll-files/output/out.csv', {
        encoding: 'utf8',
        flags: 'a',
        headers: true
      })
    );
};
  

У кого-нибудь есть идея, почему функция tranform будет удалять столбцы перед возвратом преобразованного объекта?

Неважно. Я определил, что в моем source .csv есть столбец с повторяющимся количеством часов 3. Функция преобразования, по-видимому, не возвращает значение, если есть дубликат.