Блог

Я написал класс (классы), которые записывают и считывают из hdfs. Учитывая определенные условия, которые возникают при создании экземпляров этих классов, они создают определенный путь и файл и записывают в него (или они переходят к ранее созданному пути и файлу и читают из него). Я протестировал его, запустив несколько заданий hadoop, и, похоже, он функционирует правильно.

Тем не менее, я хотел бы иметь возможность протестировать это в JUnit framework, но я не нашел хорошего решения для тестирования чтения и записи в hdfs в JUnit. Я был бы признателен за полезный совет по этому вопросу. Спасибо.

Я еще не пробовал это сам, но я полагаю, что вы ищете org.apache.hadoop.hdfs.MiniDFSCluster.

Это в hadoop-test-.jar НЕ hadoop-core-.jar . Я предполагаю, что проект Hadoop использует это внутренне для тестирования.

Вот оно:

http://svn.apache.org/viewvc/hadoop/hdfs/trunk/src/test/hdfs/org/apache/hadoop/hdfs/MiniDFSCluster.java?revision=1127823amp;view=markupamp;pathrev=1130381

Я думаю, что в этом же каталоге есть множество вариантов его использования, но вот один:

http://svn.apache.org/viewvc/hadoop/hdfs/trunk/src/test/hdfs/org/apache/hadoop/hdfs/TestWriteRead.java?revision=1130381amp;view=markupamp;pathrev=1130381