Тестирование / проверка A / B-тестирования с помощью Firebase Remote Config в iOS

#ios #firebase #conditional-statements #firebase-remote-config

#iOS #firebase #условные операторы #firebase-remote-config

Вопрос:

Я использую Firebase Remote Config для настройки A / B-теста на iOS.

Все настроено, и я считываю значение по умолчанию на стороне сервера в приложении iOS.

Но при попытке использования нескольких симуляторов все они считывают значение по умолчанию. Я подозреваю, что Google знает, что я тот же пользователь, основываясь на моем IP, так что, возможно, они просто делают свое дело.

Как мне проверить / проверить, что пользователи распределяются по вариантам?

Вот еще немного информации о моем тесте:

Поскольку я тестирую новую функцию («Нажмите» или «Удерживайте»), у меня нет базовой линии / значения по умолчанию без изменений. Итак, в «Условиях» я создал два условия. Один с надписью «применяется, если пользователь в случайном процентиле <= 50%», а другой с надписью «применяется, если пользователь в случайном процентиле> 50%». Это, как я понял, направит половину трафика в 1-е условие, а остальное — во 2-е условие. Условия

В «Параметрах» я создал один параметр со значением «Hold» для вышеуказанного 1-го условия, значением «Press» для вышеуказанного 2-го условия и «None» для значения по умолчанию. Параметр

Используя ключ параметра в приложении iOS, после выборки я всегда получаю значение «Нет» на любых симуляторах. Я также несколько раз пытался удалить и установить приложение. Всегда «Нет»

Firebase попытается убедиться, что один и тот же пользователь каждый раз получает одинаковое значение / опыт, поэтому я должен предположить, что на основе симуляторов имеет один и тот же IP-адрес (возможно, MAC-адрес с моего mac).

Я мог бы загрузить приложение в TestFlight и опробовать его на нескольких устройствах, но это кажется довольно громоздким. Должен быть способ протестировать / проверить или, по крайней мере, смоделировать 50%-ный дистрибутив, который я настраиваю в моем состоянии.

Ответ №1:

На iOS вы должны иметь возможность видеть различные настройки, просто удалив, а затем переустановив свое приложение.

Попробуйте это несколько раз, и после 6 или 7 попыток, если вы все еще не видите разных результатов, возможно, что-то не так с вашей настройкой. Либо это, либо вам невероятно повезло, и вы должны посетить свой местный стол для игры в рулетку. 🙂

Комментарии:

1. На самом деле, я не думаю, что это так. Вы не хотите, чтобы платформа перераспределяла одно и то же устройство / пользователя в разные варианты. Это A / B-тестирование 101. Вам нужно равномерное распределение, но если пользователь / клиент переключается между вариантами, они могут испытывать разные ощущения, и это повлияет на тест, запутав пользователя. Вы хотите равномерное распределение, но пользователи / клиенты, которые уже были назначены для определенного варианта, всегда должны отправляться в один и тот же вариант в рамках данного эксперимента. Это также то, как это делает Oprimizely. Вы хотите сказать, что Firebase не может этого сделать?

2. На самом деле, это я отчасти прав. Firebase сохранит каждый экземпляр приложения в одном и том же варианте. Поэтому, если вы удалите приложение и переустановите его, вы будете перераспределены. В этой части другие платформы A / B-тестирования решают эту проблему лучше, используя комбинацию идентификатора пользователя, устройства и экземпляра приложения для идентификации пользователя.

3. Что касается части проверки, я только что узнал, что при удалении / переустановке приложения на симуляторе вы будете отправлены в точно такой же вариант. Но выполнение этого на физическом устройстве приведет к повторному распространению. Итак: я смог протестировать дистрибутив на реальных устройствах, удалив и переустановив приложение. Не на симуляторе.