#mongodb #apache #nutch
#mongodb #apache #nutch
Вопрос:
когда я пытаюсь запустить, появляется следующая ошибка, в mongodb регистрируется одно принятое соединение и немедленно завершается.как это решить?
$ bin / сканирование conf/urls/seeds.txt tuto 1 Не указан SOLRURL. Пропуск индексации. Ввод начальных URL-адресов /e/apache-nutch/apache-nutch-2.3.1/runtime/local/bin/nutch inject conf/urls/seeds.txt -crawlId tuto Инжекторная работа: начиная с 2016-10-01 18:15:14 Инжекторная работа: ввод urlDir: conf/urls/seeds.txt Задание инжектора: использование класса org.apache.gora.mongodb.store.MongoStore как класс хранилища Gora. Задание инжектора: java.lang.Исключение NullPointerException в java.lang.ProcessBuilder.start(ProcessBuilder.java: 1010) в org.apache.hadoop.util.Shell.runCommand(Shell.java:482) в org.apache.hadoop.util.Shell.run(Shell.java:455) в org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702) в org.apache.hadoop.util.Shell.execCommand(Shell.java:791) в org.apache.hadoop.util.Shell.execCommand(Shell.java: 774) в org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:646) в org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:434) в org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:281) в org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125) в org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:348) в org.apache.hadoop.mapreduce.Задание $ 10.выполнить (Job.java:1285) в org.apache.hadoop.mapreduce.Задание $ 10.выполнить (Job.java: 1282) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs(Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java: 1614) в org.apache.hadoop.mapreduce.Job.submit(Job.java:1282) в org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303) в org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:115) в org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:231) в org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java: 252) в org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:275) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) в org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:284)
Ответ №1:
Я считаю, что новейшая версия Nutch использует
# bin/nutch inject seedDirectory/
По крайней мере, это сработало для меня.
Ответ №2:
Я решил эту проблему, просто удалив две строки, т.е.:
[field name="sitemaps" docfield="sitemaps" type="document"]
и
[field name="stmPriority" docfield="stmPriority" type="int32"]
из gora-mongodb-mapping.xml файла в conf папке nutch. Надеюсь, это вам поможет..