Блог

У меня возникли некоторые проблемы с хранилищем данных Google App engine. С тех пор, как была введена новая модель ценообразования, стоимость запуска моего приложения значительно возросла.

Причиной, по-видимому, являются «небольшие операции с хранилищем данных», на которые приходится более 20 миллионов операций в день!

У кого-нибудь была эта проблема, я не думаю, что я выполняю чрезмерное количество ключевых запросов, и у меня всего 5000 пользователей, с примерно 10-20 запросами в минуту.

Заранее спасибо!

Редактировать

Хорошо, получил некоторую статистику, это примерно через 3 часа. Вот что я вижу на своей панели мониторинга в разделе выставления счетов:

И вот некоторые статистические данные:

Очевидно, что существует довольно много вызовов datastore.get. Я начинаю думать, что проблема в моем дизайне. Эти данные соответствуют учетным записям. У каждого пользователя есть учетная запись, но учетная запись может быть одного из двух типов, для этого я использую композицию. Таким образом, каждый объект учетной записи имеет ссылку на свой объект субаккаунта. В результате, когда я выполняю поиск ближайших пользователей, это включает в себя выборку учетных записей с помощью запроса, а затем выполнение get для каждой учетной записи, чтобы получить ее вспомогательную учетную запись. Главный запрос на картинке статистики — это вызов, который получает 100 учетных записей, а затем должен выполнить get для каждой из них. Я бы подумал, что это очень легкий запрос, но, думаю, нет. И меня все еще смущает количество небольших операций с хранилищем данных, записываемых на моей панели мониторинга.

Обязательно используйте appstats, как предлагает Дрю; независимо от того, какую библиотеку вы используете, она расскажет вам, какие операции выполняют ваши обработчики. Наиболее вероятными виновниками являются запросы только для ключей и операции подсчета.

Я бы посоветовал использовать AppStats (Python / Java) для профилирования вашего трафика и определения, какой обработчик генерирует больше всего операций с хранилищем данных. Если вы разместите код здесь, мы потенциально сможем предложить оптимизации.

Не сканируйте свое хранилище данных, используйте get (ключ) или get_by_id (идентификатор) или get_by_key_name (ключевое имя) как можно чаще.

Много ли у вас свойств ReferenceProperty в ваших моделях? Доступ к ним вызовет db.get для каждого свойства, если вы не выполните предварительную выборку. Это вызвало бы 101 запрос db.get.

 class Foo(db.Model):
   user = db.ReferenceProperty(User)

foos = Foo.all().fetch(100)
for f in foos:
  print f.user.name  # this triggers db.get(parent=f, key=f.user)