#scala #akka #parquet #akka-stream #alpakka
Вопрос:
Я пытаюсь передать каталог файлов parquet через потоки akka/alpakka, проблема в том, что, хотя я устанавливаю каталог в качестве источника, он передает только один файл.
Любой совет будет очень признателен, это мой последний эксперимент:
val reader: ParquetReader[GenericRecord] = AvroParquetReader.builder[GenericRecord](filePath).withConf(conf).build() val source: Source[GenericRecord, NotUsed] = AvroParquetSource(reader) source .ask[WorkerAck](10)(workerActor) .runWith(Sink.ignore)
Комментарии:
1. Это
filePath
HadoopInputFile
/InputFile
?2. @ccheneson это каталог с паркетными файлами