Как отслеживать большое количество A / B и многомерных экспериментов для оптимизации веб-сайтов?

#php #mysql #web #analytics

#php #mysql #веб #аналитика

Вопрос:

Как вы отслеживаете результаты A / B тестирования для миллионов просмотров страниц? Веб-сайт использует стек LAMP и имеет отдельный сервер mysql только для аналитики, поэтому для данных достаточно места, но вопрос в том, как организовать и спланировать масштабное A / B тестирование.

Существуют ли какие-либо рекомендации, которые рекомендуются для попыток управлять такими большими A / B экспериментами (как по количеству экспериментов, так и по размеру экспериментов)? Существуют ли какие-либо распространенные инструменты с открытым исходным кодом, которые используются?

И если вы знаете, как Facebook / Google / LinkedIn управляют своими экспериментами? и выпустили ли они какой-либо открытый исходный код?

Комментарии:

1. Я не думаю, что кто-либо может дать вам абсолютный ответ, ничего не зная об изменениях, которые вы тестируете, и соответствующих показателях, которые могут быть затронуты. В случае, если это все о продукте и не имеет ничего общего с техническими улучшениями — вам, вероятно, следует использовать сторонний сервис веб-аналитики, такой как Google Analytics или Omniture, и убедитесь, что вы настроили его с очень подробными пользовательскими отчетами, относящимися к вашему A / B тестированию.

2. @Saggi: Я особенно надеялся, что будут инструменты с открытым исходным кодом, которые позволяют проводить A / B тестирование на больших наборах данных. Все, что мне нужно, это вызов функции для вставки в мой код, когда я запускаю вариант, и другой вызов функции, когда это «успех».

Ответ №1:

Я использовал Google Website Optimizer для отслеживания нескольких AB и многовариантных тестов. В нем также есть приятные функции отчетности.