#amazon-s3 #vector
#amazon-s3 #вектор
Вопрос:
** Я использую инструмент под названием vector.разработчики, которые загружают данные с локального на S3, но не могут загрузить данные на s3, пожалуйста, помогите и дайте мне знать, какие изменения требуются для их переноса на s3 ** То, что я прокомментировал, предназначено для того, чтобы я мог просто выполнить массовую загрузку и посмотреть, перейдет ли она на s3
data_dir = "/var/lib/vector"
# Ingest data by tailing one or more files
[sources.apache_newLogs]
type = "file"
include = ["/Users/adityaverma/Downloads/ApplicationLogs/appLog/newest2.log"] # supports gl obbing
ignore_older = 86400 # 1 day
Structure and parse the data
[transforms.apache_parser]
inputs = ["apache_logs"]
# type = "regex_parser" # fast/powerful regex
# patterns = ['^[0-9]{4}-[0-9]{2}-[0-9]{2}']
# patterns = ['^(?P<host>[w.] ) - (?P<user>[w] ) (?P<bytes_in>[d] ) [(?P<timestamp>.*)] "(?P<me thod>[w] ) (?P<path>.*)" (?P<status>[d] ) (?P<bytes_out>[d] )$']
# Sample the data to save on cost
#[transforms.apache_sampler]
# inputs = ["apache_parser"]
# type = "sampler"
# rate = 50 # only keep 50%
# Send structured data to a short-term storage
#[sinks.es_cluster]
# inputs = ["apache_sampler"] # only take sampled data
# type = "elasticsearch"
# host = "http://79.12.221.222:9200" # local or external host
# index = "vector-%Y-%m-%d" # daily indices
# Send structured data to a cost-effective long-term storage
[sinks.s3_archives]
inputs = ["apache_newLogs"] # don't sample for S3
type = "aws_s3"
region = "ap-south-1"
bucket = "my-bucket-bang"
key_prefix = "date=%Y-%m-%d" # daily partitions, hive friendly format
compression = "gzip" # compress final objects
encoding = "ndjson" # new line delimited JSON
[sinks.s3_archives.batch]
max_size = 10000000 # 10mb uncompressed
Комментарии:
1. Какую ошибку вы получаете?
2. Ошибка отсутствует, говорит, что проверка работоспособности пройдена
3. Вы решили свою проблему? Вы пробовали запускать «vector top» и проверять, обрабатываются ли события на этапе s3 sink?