Обходятся страницы Stormcrawler с noindex nofollow

#stormcrawler

#stormcrawler

Вопрос:

Мы используем Stormcrawler 1.13 для обхода страниц сайта. При использовании в одной среде страницы с роботами meta noindex nofollow не сканируются, но когда мы развертываем те же модули в другой среде, страницы с noindex nofollow также подвергаются обходу. Ниже приведен наш обходчик-conf.yaml.

 # Custom configuration for StormCrawler
# This is used to override the default values from crawler-default.xml and provide additional ones 
# for your custom components.
# Use this file with the parameter -conf when launching your extension of ConfigurableTopology.
# This file does not contain all the key values but only the most frequently used ones. See crawler-default.xml for an extensive list.

config: 
  topology.workers: 1
  topology.message.timeout.secs: 300
  topology.max.spout.pending: 100
  topology.debug: false

  fetcher.threads.number: 50
  
  # give 2gb to the workers
  worker.heap.memory.mb: 2048

  # mandatory when using Flux
  topology.kryo.register:
    - com.digitalpebble.stormcrawler.Metadata

  # metadata to transfer to the outlinks
  # used by Fetcher for redirections, sitemapparser, etc...
  # these are also persisted for the parent document (see below)
  # metadata.transfer:
  # - customMetadataName

  # lists the metadata to persist to storage
  # these are not transfered to the outlinks
  metadata.persist:
   - _redirTo
   - error.cause
   - error.source
   - isSitemap
   - isFeed

  http.agent.name: "Anonymous Coward"
  http.agent.version: "1.0"
  http.agent.description: "built with StormCrawler Archetype ${version}"
  http.agent.url: "http://someorganization.com/"
  http.agent.email: "someone@someorganization.com"

  # The maximum number of bytes for returned HTTP response bodies.
  # The fetched page will be trimmed to 65KB in this case
  # Set -1 to disable the limit.
  http.content.limit: -1

  # FetcherBolt queue dump => comment out to activate
  # if a file exists on the worker machine with the corresponding port number
  # the FetcherBolt will log the content of its internal queues to the logs
  # fetcherbolt.queue.debug.filepath: "/tmp/fetcher-dump-{port}"

  parsefilters.config.file: "parsefilters.json"
  urlfilters.config.file: "urlfilters.json"

  # revisit a page daily (value in minutes)
  # set it to -1 to never refetch a page
  fetchInterval.default: 1440

  # revisit a page with a fetch error after 2 hours (value in minutes)
  # set it to -1 to never refetch a page
  fetchInterval.fetch.error: 120

  # never revisit a page with an error (or set a value in minutes)
  fetchInterval.error: -1

  # custom fetch interval to be used when a document has the key/value in its metadata
  # and has been fetched successfully (value in minutes)
  # fetchInterval.FETCH_ERROR.isFeed=true: 30
  # fetchInterval.isFeed=true: 10

  # configuration for the classes extending AbstractIndexerBolt
  # indexer.md.filter: "someKey=aValue"
  indexer.url.fieldname: "url"
  indexer.text.fieldname: "content"
  indexer.canonical.name: "canonical"
  indexer.md.mapping:
  - parse.title=title
  - parse.keywords=keywords
  - parse.description=description
  - domain=domain

  # Metrics consumers:
  topology.metrics.consumer.register:
     - class: "org.apache.storm.metric.LoggingMetricsConsumer"
       parallelism.hint: 1
  

Пожалуйста, дайте мне знать, если потребуется внести некоторые изменения в приведенный выше код или любые другие конфигурации в storm-crawler.

Спасибо.

Ответ №1:

Поведение meta noindex не настраивается в 1.13, поэтому любая разница между вашими средами не может быть вызвана различием в конфигурации.

Как вы сгенерировали топологию? Вы использовали архетип?

PS: рекомендуется устанавливать http.agent.* configs.

Комментарии:

1. Привет, @Julien nioche. Спасибо за быстрый ответ. Мы использовали команду mvn generate:artchetype для генерации модуля. Мы используем «storm jar storm-crawler-1.13.jar org.apache.storm.flux. Flux es-crawler.flux —remote» для добавления топологии в Storm и storm-crawler-1.13.jar имеет автоматически сгенерированный класс CrawlTopology, который расширяет ConfigurableTopology. Пожалуйста, предложите, в чем может быть проблема. Большое вам спасибо