мне нужно отфильтровать некоторые данные из файла json (размером около 2G). josn похож на

 { "dataName": "staff",
  "version": 5,
  "data": [
    {"name":"Fred",
    "team":"football",
    "hobby":"climbing"
    },
     {"name":"Tony",
     "team":"basketball",
     "hobby":"fishing"},

    {"name":"alex",
      "team":"soccer",
      "hobby":"movies"
    }
  ]
}
 

Проведя некоторые исследования по анализу огромного json в ruby, я обнаружил https://github.com/dgraham/json-stream
и https://github.com/brianmario/yajl-ruby , я попробовал json_stream, который занимает около 20 минут, и этот сайт https://github.com/dgraham/yajl-ffi#performance говорит , что

yajl-ruby быстрее

С помощью json_stream я мог бы использовать некоторые обратные вызовы, такие как start_object / end_object / key / value, чтобы узнать, когда объект анализируется, а затем выполнить некоторую обработку с этим объектом и продолжить.

Но с yajl-ruby я нахожу только обратный вызов с именем «on_parse_complete». Его документ (https://www.rubydoc.info/github/brianmario/yajl-ruby/Yajl/Parser ) говорит, что

 "#on_parse_complete= ⇒ Object
call-seq: on_parse_complete = Proc.new { |obj| … }

This callback setter allows you to pass a Proc/lambda or any other object that responds to #call.

#It will pass a single parameter, the ruby object built from the last parsed JSON object"#
 

затем я пишу фрагмент кода, например

 
require 'yajl'
def parse_farquaad f, chunk_size
   parser = Yajl::Parser.new

    parser.on_parse_complete = Proc.new do |obj|
      yield obj
    end

    f.each(chunk_size) { |chunk| parser << chunk }
  end

  File.open("big_file.json") do |f|
      parse_farquaad f, 8092 do |current_data_unit|
        puts "obj is:"
        puts current_data_unit
  end
 

Я тестирую образец файла json с небольшим размером (

смотрите пример, приведенный в начале

)

но на выходе получается #весь JSON obj # (дамп всего за раз), вместо этого я хочу выводить каждый объект в части «данные» один за другим, и, как я мог бы получить поток json в форме, после того, как каждый объект в «данных» проанализирован и выведен, я мог бы сделать следующеена нем, как проверка, является ли каждый объект нужными мне данными.

мой ожидаемый результат:

сначала obj { «имя»: «Фред», «команда»: «футбол», «хобби»: «скалолазание» } выполните sth для этого объекта

затем obj {«имя»: «Тони», «команда»: «баскетбол», «хобби»: «рыбалка»} сделайте что-нибудь с этим объектом

затем obj {«имя»: «алекс», «команда»: «футбол», «хобби»:»фильмы» } выполните sth для этого объекта…..

Возможно, у меня есть некоторое недопонимание по поводу этого предложения

«Он передаст один параметр, объект ruby, созданный из последнего проанализированного объекта JSON»#

об обратном вызове

«on_parse_complete»

описано в документе, показанном выше.

Кто-нибудь знает, как это сделать с помощью yajl-ruby? любая помощь приветствуется.