Как транслировать каталог файлов паркета через потоки akka/alpakka

#scala #akka #parquet #akka-stream #alpakka

Вопрос:

Я пытаюсь передать каталог файлов parquet через потоки akka/alpakka, проблема в том, что, хотя я устанавливаю каталог в качестве источника, он передает только один файл.

Любой совет будет очень признателен, это мой последний эксперимент:

 val reader: ParquetReader[GenericRecord] = AvroParquetReader.builder[GenericRecord](filePath).withConf(conf).build()   val source: Source[GenericRecord, NotUsed] = AvroParquetSource(reader)   source   .ask[WorkerAck](10)(workerActor)  .runWith(Sink.ignore)  

Комментарии:

1. Это filePath HadoopInputFile / InputFile ?

2. @ccheneson это каталог с паркетными файлами