Блог

Пожалуйста, простите меня, если я неясен, но это довольно сложно описать словами. Я использую Ruby для приложения Rails, чтобы принимать значения из файла CSV строка за строкой, используя функцию tohash.select Ruby для генерации хэш-таблицы всех пар ключ-значение для каждой строки, а затем используя функцию create для генерации таблицы строк.

Код работает для создания таблицы базы данных из CSV, но многие записи в CSV имеют нулевые значения для некоторых полей / столбцов. Я хотел бы, чтобы эти нулевые значения были преобразованы в строку типа «null» при вставке каждой строки в CSV в хэш-таблицу.

Я пытался использовать регулярное выражение для замены нулевых значений строкой, но это не сработало. Возможно, я просто делаю это неправильно.

 require 'csv'

fields = %w{lVoterUniqueID sAffNumber szStateVoterID sVoterTitle szNameLast szNameFirst szNameMiddle sNameSuffix sGender szSitusAddress szSitusCity sSitusState sSitusZip sHouseNum sUnitAbbr sUnitNum szStreetName sStreetSuffix sPreDir sPostDir szMailAddress1 szMailAddress2 szMailAddress3 szMailAddress4 szMailZip szPhone szEmailAddress dtBirthDate sBirthPlace dtRegDate dtOrigRegDate dtLastUpdate_dt sStatusCode szStatusReasonDesc sUserCode1 sUserCode2 iDuplicateIDFlag szLanguageName szPartyName szAVStatusAbbr szAVStatusDesc szPrecinctName sPrecinctID sPrecinctPortion sDistrictID_0 iSubDistrict_0 szDistrictName_0 sDistrictID_1 iSubDistrict_1 szDistrictName_1 sDistrictID_2 iSubDistrict_2 szDistrictName_2 sDistrictID_3 iSubDistrict_3 szDistrictName_3 sDistrictID_4 iSubDistrict_4 szDistrictName_4 sDistrictID_5 iSubDistrict_5 szDistrictName_5}

if Rails.env.production?
  CSV.foreach(Dir.pwd   "/db/prod.csv", encoding: 'iso-8859-1:utf-8', headers: true) do |row|
    voter_row = row.to_hash.select { |k, v| fields.include?(k)}
    Voter.create!(voter_row.to_hash.symbolize_keys)
  end
elsif Rails.env.development?
  CSV.foreach(Dir.pwd   "/db/Cntywd_020819.csv", headers: true) do |row|
    voter_row = row.to_hash.select { |k, v| fields.include?(k)}
    Voter.create!(voter_row.to_hash.symbolize_keys)
  end
else
  CSV.foreach(Dir.pwd   "/db/Cntywd_020819.csv", headers: true) do |row|
  voter_row = row.to_hash.select { |k, v| fields.include?(k)}
  Voter.create!(voter_row.to_hash.symbolize_keys)
end
end
  

Везде, где я использую row.tohash.select, я хотел бы заменить нулевые значения пустой строкой, таким образом, каждому ключу в хэш-таблице соответствует строка («null», если нет значения).

Существует Hash#transform_values метод, который выполняет работу чистым и идиоматичным способом. Я бы также предложил использовать Hash#slice вместо #select :

 ...
CSV.foreach(Dir.pwd   "/db/prod.csv", encoding: 'iso-8859-1:utf-8', headers: true) do |row|
  attrs = row.to_hash.slice(*fields).transform_values { |v| v || "null" }
  Voter.create!(attrs)
end
...
  

Но, честно говоря, на практике я бы предложил другое решение — использовать значения по умолчанию для столбцов базы данных, если это возможно, вместо «нормализации» данных на уровне приложения.

Вы должны перебирать значения и устанавливать их там, где это необходимо.

 if Rails.env.production?
  CSV.foreach(Dir.pwd   "/db/prod.csv", encoding: 'utf-8', headers: true) do |row|
    voter_row = row.to_hash.select { |k, v| fields.include?(k)}
    voter_row.each do |key, value|
      if value.nil?
        voter_row[key] = "null"
      end
    end
    Voter.create!(voter_row.to_hash.symbolize_keys)
  end
else
  CSV.foreach(Dir.pwd   "/db/Cntywd_020819.csv", headers: true) do |row|
  voter_row = row.to_hash.select { |k, v| fields.include?(k)}
  voter_row.each do |key, value|
    if value.nil?
      voter_row[key] = "null"
    end
  end
  Voter.create!(voter_row.to_hash.symbolize_keys)
end
  

Я также думаю, что ваш elseif / else избыточен, если я чего-то не упускаю.

Это звучит как работа для Hash#transform_values :

 h = voter_row.transform_values { |v| v.nil?? 'null' : v }
  

Пара других вещей:

1. Возможно, вы захотите использовать Hash#slice вместо #select :

    voter_row = row.to_h.slice(*fields)
     

2. create работает со строковыми ключами, поэтому вам не нужно вызывать #symbolize_keys .

Вы можете упростить свои CSV.foreach блоки только до этого:

 Voter.create!(row.to_h.slice(*fields))
  

Вы могли бы пойти дальше и написать:

 opts = { headers: true }
if Rails.env.production?
  csv_file = 'db/prod.csv'
  opts[:encoding] 'iso-8859-1:utf-8'
elsif Rails.env.development?
  csv_file = 'db/Cntywd_020819.csv'
else
  csv_file = 'db/Cntywd_020819.csv'
end
CSV.foreach(Rails.root.join(csv_file), opts) do |row|
  Voter.create!(row.to_h.slice(*fields))
end