Блог

При попытке получить доступ к связанному объекту я получаю сообщение Object Set too large to perform search around . Причина в том, что мой набор объектов больше 100.000 элементов. Возможно ли группировать данные из объектов, чтобы я мог уменьшить количество элементов (не фильтруя, а, например, группируя ежедневные данные до уровня месяца)

Я знаю, что этот вопрос немного устарел, но отвечает для потомков.

Поскольку вы нарушаете внутреннее ограничение для поиска объектов, одним из вариантов является создание подмножества данных, но группировка с использованием репозиториев разработки / кода, например, в pyspark. Затем вы можете синхронизировать отдельный объект для сгруппированных данных (указать grouped в имени) и выполнять поиск по нему. Вы можете получить месяц из даты, используя pyspark, а затем выполнить groupby (пожалуйста, задайте конкретный вопрос, если у вас возникнут проблемы).

Другой вариант — вы можете предварительно вычислить поиск вокруг, используя таблицу соединений. Если у вас есть связь «многие: многие» между объектами, вы можете создать таблицу соединений с первичным ключом левой и правой таблиц, поддерживающих объекты, используя pyspark, и добавить связь соединения в диспетчере онтологий.

Наконец, существует вторая версия хранилища объектов, которая не имеет этих ограничений, но она еще не развернута во всем литейном парке.