#hadoop #protocol-buffers #thrift #avro
#hadoop #буферы протокола #бережливость #avro
Вопрос:
Прямо сейчас у нас есть задание Hadoop на Java, которое работает с некоторыми двоичными файлами C . Мы записываем файлы в NFS и C , а Java их читает, и это наша форма обмена данными, которая предотвращает масштабирование. Я изучаю Proto Buff, Thrift и Avro, чтобы уйти от NFS. Этот подход определенно был бы лучше, чем подход NFS, верно?
Комментарии:
1. Почему бы не использовать HDFS и SequenceFiles?
2. Это означало бы, что мой C также должен был бы взаимодействовать с HDFS? Я думаю, это будет немного сложно. Я также думаю о JNI, но не уверен в этом. Вы думаете, что это не очень хорошая идея использовать эти RPC-фреймворки?
3. Ваш C может взаимодействовать с HDFS с помощью FUSE wiki.apache.org/hadoop/MountableHDFS