#java #google-app-engine #caching #concurrency #memcached
#java #google-app-engine #кэширование #параллелизм #memcached
Вопрос:
Я разрабатываю простую службу опроса. Я собираю статистику в экземпляре серверной части и сбрасываю их в хранилище данных каждый час. Я зарегистрировал перехват завершения работы для своего серверного экземпляра, чтобы данные, собранные в течение последнего часа, не были потеряны. Я также использую кеш для хранения некоторых моих данных.
Странный вызов MemcacheService.get() в LifecycleManager.ShutdownHook.shutdown() вызывает исключение InterruptedException. Вот полный стек вызовов, который у меня есть:
com.google.appengine.api.memcache.MemcacheServiceException: Unexpected failure
at com.google.appengine.api.memcache.MemcacheServiceImpl.quietGet(MemcacheServiceImpl.java:29)
at com.google.appengine.api.memcache.MemcacheServiceImpl.getAll(MemcacheServiceImpl.java:59)
at HitsHelper$LifetimeStats.getCachedStats(HitsHelper.java:51)
at HitsHelper$LifetimeStats.update(HitsHelper.java:28)
at HitsHelper.shutdown(HitsHelper.java:271)
at com.google.appengine.api.LifecycleManager.beginShutdown(LifecycleManager.java:91)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at com.google.appengine.tools.development.BackendServers$ServerWrapper.triggerLifecycleShutdownHook(BackendServers.java:890)
at com.google.appengine.tools.development.BackendServers$ServerWrapper.shutdown(BackendServers.java:796)
at com.google.appengine.tools.development.BackendServers.stopBackend(BackendServers.java:242)
at com.google.apphosting.utils.servlet.ServersServlet$1.run(ServersServlet.java:97)
at java.security.AccessController.doPrivileged(Native Method)
at com.google.apphosting.utils.servlet.ServersServlet.doPost(ServersServlet.java:93)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:637)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:717)
at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1166)
at com.google.appengine.tools.development.HeaderVerificationFilter.doFilter(HeaderVerificationFilter.java:35)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157)
at com.google.appengine.api.blobstore.dev.ServeBlobFilter.doFilter(ServeBlobFilter.java:58)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157)
at com.google.apphosting.utils.servlet.TransactionCleanupFilter.doFilter(TransactionCleanupFilter.java:43)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157)
at com.google.appengine.tools.development.StaticFileFilter.doFilter(StaticFileFilter.java:122)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157)
at com.google.appengine.tools.development.BackendServersFilter.doFilter(BackendServersFilter.java:97)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157)
at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:388)
at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)
at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:765)
at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:418)
at com.google.apphosting.utils.jetty.DevAppEngineWebAppContext.handle(DevAppEngineWebAppContext.java:70)
at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
at com.google.appengine.tools.development.JettyContainerService$ApiProxyHandler.handle(JettyContainerService.java:351)
at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
at org.mortbay.jetty.Server.handle(Server.java:326)
at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
at org.mortbay.jetty.HttpConnection$RequestHandler.content(HttpConnection.java:938)
at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:755)
at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:218)
at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
at org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:409)
at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)
Caused by: java.lang.InterruptedException
at java.util.concurrent.locks.AbstractQueuedSynchronizer.tryAcquireSharedNanos(AbstractQueuedSynchronizer.java:1302)
at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:227)
at java.util.concurrent.FutureTask.get(FutureTask.java:91)
at com.google.appengine.tools.development.ApiProxyLocalImpl$PrivilegedApiAction$1.get(ApiProxyLocalImpl.java:288)
at com.google.appengine.tools.development.ApiProxyLocalImpl$PrivilegedApiAction$1.get(ApiProxyLocalImpl.java:250)
at com.google.appengine.tools.development.TimedFuture.get(TimedFuture.java:41)
at com.google.appengine.api.utils.FutureWrapper.get(FutureWrapper.java:74)
at com.google.appengine.api.memcache.MemcacheServiceImpl.quietGet(MemcacheServiceImpl.java:27)
... 46 more
Есть ли обходной путь для этого? Мне действительно нужно обновить кеш, прежде чем мой экземпляр умрет.
Спасибо!
Ответ №1:
Как вы заметили, вызовы RPC, выполненные во время завершения работы, могут быть прерваны. Вы не должны полагаться на то, что ваш обработчик завершения работы вызывается для сохранения важных данных — вы должны делать это для каждого запроса.
Комментарии:
1. К сожалению, я не могу сделать это для каждого запроса, потому что я бы достиг предела в 5 записей на группу объектов. Вот почему я решил «буферизировать» данные в экземпляре серверной части в первую очередь. Кроме того, я могу записывать в хранилище данных без каких-либо проблем. Это тоже вызов RPC. Я согласен с потерей данных за последний час, если Google должен немедленно уничтожить мой экземпляр, но, согласно документации, у меня есть 30 секунд до смерти экземпляра. Я бы хотел использовать это время.
2. @ruslan Есть много способов обойти это, например, запись в отдельную группу объектов и постановка в очередь задач, которые «свертывают» последние обновления в основной объект.
3. Я только что понял, что у меня есть LifecycleManager.interruptAllRequests() в начале моего метода shutdown() . Это переводило все потоки в прерванное состояние. К сожалению, я не могу ответить на свой собственный вопрос, поэтому, думаю, он будет висеть вечно: (
4. @ruslan Вы можете ответить на свой собственный вопрос, вам просто нужно подождать некоторое время, прежде чем вы сможете это сделать.
Ответ №2:
Я только что понял, что у меня был LifecycleManager.interruptAllRequests() в начале моего метода shutdown() . Это переводило все потоки в прерванное состояние. Это было причиной исключения.