#machine-learning #deep-learning #classification
Вопрос:
Давайте возьмем задачу оценки очень коротких танцевальных движений (фраз) с использованием данных датчиков (акселерометра и гироскопа с датчиков iPhone) в качестве примера. Если модель на 100% уверена в конкретной танцевальной фразе, из этого не обязательно следует, что пользователь выполнил эту фразу движения идеально.
Учитывая эту задачу, состоящую из очень коротких движений (1-2 секунды), учитывая, что в распоряжении находится набор данных очень высокого качества (данные датчиков), учитывая, что модель обладает очень высокой точностью классификации этих фраз движения (действий), было бы справедливо предположить, что этот классификатор действий также может служитькак средство оценки движения?
Например, мы можем установить пороговое значение в 50% и оценивать движения на основе достоверности модели, т.Е. Если модель на 40% уверена в том, что это движение (мы заранее знаем достоверность) равно X, мы говорим, что пользователь не выполнил движение правильно, но если модель имеетс уверенностью 90% мы говорим, что движение было выполнено правильно. Другими словами, мы предоставляем пользователю обратную связь о его производительности на основе достоверности модели.
Или это все равно не имеет значения, и мы не можем просто сделать вывод, что надежный классификатор действий можно рассматривать как потенциальный оценщик действий?
В качестве альтернативы, какой смысл (теоретически) было бы иметь, если бы я передавал определенные качественные характеристики данных, такие как 25th , 50th , и 75th процентиль (определенные всплески в этих точках компенсируют качество моих данных), а также среднее значение и S.D. для каждого датчика в качестве характеристик для модели вниманиярассуждая о том, что, поскольку я передаю их в качестве входных функций в модель, прогноз классификатора теперь мог быть слегка подтолкнут к прогнозу оценщика?
Комментарии:
1. Вы сами сказали: «из этого не обязательно следует, что пользователь выполнил эту фразу движения идеально». Набор функций, которые ваша модель извлекает из фраз, не обязательно являются хорошими кандидатами для оценки качества очень коротких движений (вспомогательных действий, если хотите), если только ваша модель не обучена поддерживать согласованность в рамках этих очень коротких движений.
2. Какие-либо (общие) указания на то, как модель обучается для поддержания этой согласованности?
3. Вам нужно будет решить эту проблему в функции потерь. И способ, которым вы можете это сделать, в значительной степени полностью зависит от вашего набора данных. Вы упомянули, что у вас есть высококачественный набор данных, поэтому я предполагаю, что у вас может быть достаточно детализации в ваших данных для измерения качества ваших подзадач. Эти измерения могут быть интегрированы в общую функцию потерь в качестве вспомогательных потерь, чтобы вашу модель можно было оптимизировать в направлении приоритизации качества вспомогательных действий.
4. Спасибо за ваше предложение. Вы случайно не знаете какую-нибудь реализацию этой идеи в каком-либо контексте, на которую вы могли бы сослаться?
5. Добро пожаловать. Я дам правильный ответ, если вы сочтете эту идею полезной
Ответ №1:
Вы сами сказали: «из этого не обязательно следует, что пользователь выполнил эту фразу движения идеально». Набор функций, которые ваша модель извлекает из фраз, не обязательно являются хорошими кандидатами для оценки качества очень коротких движений (вспомогательных действий, если хотите), если только ваша модель не обучена поддерживать согласованность в рамках этих очень коротких движений.
Вы могли бы решить эту проблему в функции потерь. И способ, которым вы можете это сделать, в значительной степени полностью зависит от вашего набора данных. Вы упомянули, что у вас есть высококачественный набор данных, поэтому я предполагаю, что у вас может быть достаточно детализации в ваших данных для измерения качества ваших подзадач. Эти измерения могут быть интегрированы в общую функцию потерь в качестве вспомогательных потерь, чтобы вашу модель можно было оптимизировать в направлении приоритизации качества вспомогательных действий.
Вот некоторые исследования (1) (2), в которых рассматриваются аналогичные возможности для задачи оценки плотности толпы.
Комментарии:
1. Спасибо за ваши советы! Однако еще один вопрос: как вы думаете, какой смысл (теоретически) имеет, если я добавляю определенные качественные характеристики данных, такие как 25-й, 50-й и 75-й процентили (определенные пики в этих точках компенсируют качество данных моего типа), а также среднее значение и S.D. длякаждый датчик как функции для модели внимания, полагая, что, поскольку я передаю их в качестве входных функций в модель, прогноз классификатора теперь мог быть слегка подтолкнут к прогнозу оценщика?
2. Трудно сказать, поскольку я не знаю, могут ли эти качественные характеристики данных представлять шаблоны, которые вы ожидаете увидеть во входных данных. Для разработки структуры внимания я бы предпочел найти функции, которые запускаются для правильного выполнения очень коротких движений на ранних уровнях сети, но уменьшаются на более высоких уровнях. Это также может быть входными характеристиками, как вы предположили, не могу сказать больше, не видя данных.