Блог

Я пытаюсь удалить значения из фрейма данных GPS-координат, которые отклоняются от «плавного маршрута».

Плавный маршрут был бы таким, чтобы все значения находились вне диапазона общего тренда.

Я бы хотел, чтобы это было просто и не использовало другой большой пакет (например scipy ). `

Одна из проблем заключается в том, что первые несколько значений могут быть неверными, поэтому их нельзя использовать. Фрейм данных может быть любого размера, от нескольких точек до нескольких тысяч. Я считаю, что с меньшим набором данных это сложнее.

Минимальный Пример:

 import pandas as pd
df = pd.DataFrame({'a': {0: 52.1, 1: 5.2, 2: 5.3, 3: 5.2, 4: 5.4, 5: 0.0, 6: 5.2}, 'b': {0: 3.0, 1: 3.0, 2: 3.0, 3: 0.0, 4: 46.0, 5: 3.1, 6: 3.2}})

>>> df
     a     b
0  52.1  3.0
1  5.2   3.0
2  5.3   3.0
3  5.2   0.0
4  5.4  46.0
5  0.0   3.1
6  5.2   3.2
 

Желаемый результат:

 >>> df
     a     b
1  5.2   3.0
2  5.3   3.0
6  5.2   3.2
 

Я пробовал использовать z-оценку, и это не всегда работает для всех вариантов использования, так как небольшие изменения в данных не улавливаются.

Рассмотрите возможность удаления верхних и нижних 10 квантилей:

 >>> df[(df>=df.quantile(0.10)) amp; (df<=df.quantile(0.90))].dropna()
     a    b
1  5.2  3.0
2  5.3  3.0
6  5.2  3.2
 

Вы можете настроить квантили по мере необходимости для вашего большего набора данных.