#apache-kafka
Вопрос:
мне нужно перенести рыночные данные от источника к цели. я хотел бы поместить каждый символ , т. е. BTCUSD в своей собственной теме и попросите целевое приложение подписаться на столько тем, сколько оно хочет, и получать данные из нескольких символов в правильном порядке по времени.
в настоящее время я помещаю все данные в одну тему , и цель отфильтровывает данные, которые ее не интересуют.
могу ли я достичь того , чего хочу , только с помощью кафки или с помощью дополнительного проекта, или вы можете назначить другого брокера сообщений для этой работы.
Спасибо.
Комментарии:
1. Вы говорите, что помещаете символы в их собственные темы, но затем вы говорите, что помещаете все данные в одну тему… Что это такое? И потребители могут подписаться на столько тем, сколько захотят (я бы не назвал это агрегированием, хотя, поскольку это означает что-то конкретное в потоках Кафки ). В конечном счете, фильтрация чего-либо на стороне потребителя приведет только к задержке и накладным расходам
2. Я думаю, нам понадобится более подробная информация о том, что делает ваше приложение, чтобы дать хорошую рекомендацию. Как сказал OneCricket, вы не хотите фильтровать 99% ваших данных, но одна тема на биржевой тикер может быть многовато. Также > получать данные из нескольких символов в правильном порядке, основанном на времени, выполнение обработки в порядке, основанном на времени, может быть сложным, в зависимости от того, имеете ли вы в виду время получения данных или сами данные имеют метку времени. Возможно, вам потребуется ввести потоки кафки или что-то другое, чтобы обеспечить этот порядок