Блог

У меня есть команда curl, ввод которой я хочу загрузить с помощью BSON. По соображениям производительности я хочу прочитать вывод curl непосредственно в память, не сохраняя его в файл. Кроме того, я хочу закрыть curl как можно скорее, поэтому я хочу прочитать данные из curl, а затем передать их в BSON, у нас были некоторые проблемы, когда curl был открыт, потому что это было быстрее, чем последовательный синтаксический анализ.

Я знаю, что это работает, но он слишком долго держит curl открытым, что вызывает проблемы, когда мы делаем это параллельно много раз одновременно, а сервер, с которого мы загружаем, немного занят.

 using BSON
cmd = `curl <some data>`
BSON.load(open(cmd))
  

Чтобы закрыть cmd как можно скорее, у меня есть это:

 # created IOBuffer to wrap bytes
import BSON.load
function BSON.load(bytes::Vector{UInt8})
    io = IOBuffer()
    write(io, bytes)
    seekstart(io)
    BSON.load(io)
end
cmd = `curl <some data>`
BSON.load(read(cmd))
  

что работает, но я считаю это очень уродливым. Также я не уверен, что это не приводит к некоторому снижению производительности.

Есть ли более элегантный способ сделать это? Могу ли я read(cmd) ввести некоторую структуру ввода-вывода, которая затем может быть передана BSON.load ?

Я понял, что точно такая же проблема имеет место для Serialization.deserialize . Мое решение для десериализации такое же, но я приветствую любые улучшения.

Немного неясно, что означает ваш вопрос, когда вы говорите, что он «слишком долго держит curl открытым», но вот два разных способа сделать это:

 julia> using BSON

julia> url = "https://raw.githubusercontent.com/JuliaIO/BSON.jl/master/test/test.bson"
"https://raw.githubusercontent.com/JuliaIO/BSON.jl/master/test/test.bson"

julia> open(BSON.load, `curl -s $url`)
Dict{Symbol,Any} with 2 entries:
  :a => Complex{Int64}[1 2im, 3 4im]
  :b => "Hello, World!"

julia> BSON.load(IOBuffer(read(`curl -s $url`)))
Dict{Symbol,Any} with 2 entries:
  :a => Complex{Int64}[1 2im, 3 4im]
  :b => "Hello, World!"
  

Первая версия похожа на вашу первую версию, но сразу же закрывает процесс curl после завершения загрузки. Вторая версия считывает результат вызова curl в байтовый вектор, обертывает его в IOBuffer и затем вызывает BSON.load для этого.