Блог

** Я использую инструмент под названием vector.разработчики, которые загружают данные с локального на S3, но не могут загрузить данные на s3, пожалуйста, помогите и дайте мне знать, какие изменения требуются для их переноса на s3 ** То, что я прокомментировал, предназначено для того, чтобы я мог просто выполнить массовую загрузку и посмотреть, перейдет ли она на s3

  data_dir = "/var/lib/vector"

 # Ingest data by tailing one or more files
 [sources.apache_newLogs]
 type         = "file"
 include      = ["/Users/adityaverma/Downloads/ApplicationLogs/appLog/newest2.log"]    # supports gl    obbing
 ignore_older = 86400                         # 1 day

 Structure and parse the data
 [transforms.apache_parser]
 inputs       = ["apache_logs"]
 #  type         = "regex_parser"                # fast/powerful regex
 #  patterns     = ['^[0-9]{4}-[0-9]{2}-[0-9]{2}']

 # patterns      = ['^(?P<host>[w.] ) - (?P<user>[w] ) (?P<bytes_in>[d] ) [(?P<timestamp>.*)] "(?P<me    thod>[w] ) (?P<path>.*)" (?P<status>[d] ) (?P<bytes_out>[d] )$']

 # Sample the data to save on cost
 #[transforms.apache_sampler]
 #  inputs       = ["apache_parser"]
 #  type         = "sampler"
 #  rate         = 50                            # only keep 50%

 # Send structured data to a short-term storage
 #[sinks.es_cluster]
 #  inputs       = ["apache_sampler"]            # only take sampled data
 #  type         = "elasticsearch"
 #  host         = "http://79.12.221.222:9200"   # local or external host
 #  index        = "vector-%Y-%m-%d"             # daily indices

 # Send structured data to a cost-effective long-term storage
  [sinks.s3_archives]
inputs       = ["apache_newLogs"]             # don't sample for S3
type         = "aws_s3"
region       = "ap-south-1"
bucket       = "my-bucket-bang"
key_prefix   = "date=%Y-%m-%d"               # daily partitions, hive friendly format
compression  = "gzip"                        # compress final objects
encoding     = "ndjson"                      # new line delimited JSON
[sinks.s3_archives.batch]
max_size   = 10000000                      # 10mb uncompressed