Блог

Я предоставил nutch входные URL-адреса для обхода веб-сайтов, то есть 1081220 URL-адресов.Я провел один раунд обхода.затем я считываю данные из папки содержимого из каталога сегментов.Считайте данные с помощью spark и записывайте данные в json, хранящиеся в s3.Затем я прочитал файл json, который хранится в s3, когда я прочитал номер URL-адреса 796737, в котором я нашел папку содержимого. Когда я вижу статус выборки из пользовательского интерфейса yarn, значение

Карта имен Уменьшить Общее количество доступов_определено 327 0 327 байтов_загружено 55,505,674,572 0 55,505,674,572 исключение 85,774 0 85,774 пропало 803 0 803 hitByThrougputThreshold 119,988 0 119,988 перемещено 129,703 0 129,703 не найдено 25,511 0 25,511 robots_denied 35,750 0 35,750 robots_denied_maxcrawldelay 2,574 0 2,574 успех 641,302 0 641,302 temp_moved 25,732 0 25,732

статистика обхода: статус 1 (db_unfetched): 15313970 статус 2 (db_fetched): 619429 статус 3 (db_gone): 64965 статус 4 (db_redir_temp): 25732 статус 5 (db_redir_perm): 129703 статус 7 (db_duplicate): 21873

Могу ли я узнать, почему различия.какой статистике я должен следовать, есть разница во всех отчетах о статистике, которые являются статистикой папки содержимого, статистикой статуса выборки, статистикой обхода.Я не понимаю.

Могут быть различия между счетчиками выборки и результирующими значениями статуса обхода по нескольким причинам:

1. конечно, CrawlDb содержит элементы из всех циклов и даже URL-адреса, введенные или найденные в виде внешних ссылок, но еще не извлеченные
2. некоторые счетчики выборки не имеют соответствия 1: 1 статусу БД: например, «gone», «notfound» и «robots_denied» все приводят к «db_gone»
3. другие статусы БД устанавливаются другими компонентами Nutch, например. «db_duplicate» заданием дедупликации
4. в случае, если Fetcher следует перенаправлениям: Fetcher по умолчанию не дедуплицирует перенаправления, поэтому, если несколько перенаправлений указывают на один и тот же URL, он извлекается несколько раз. Это приводит к более высокому значению в счетчике выборки «успех» по сравнению с результирующим количеством элементов со статусом «db_fetched».