Блог

При определенных настройках np.quantile допускает ошибки при определении правильного квантиля. Это ошибка?

 x = np.array([374, 358, 341, 355, 342, 334, 353, 346, 355, 344,
              349, 330, 352, 328, 336, 359, 361, 345, 324, 386,
              334, 370, 349, 327, 342, 354, 361, 354, 377, 324])

q = np.quantile(x, 0.25)

print(q)

print(len(x[x<=q]) / len(x))

print(len(x[x>=q]) / len(x))
  

Вывод:

 337.25

0.26666666666666666

0.7333333333333333
  

0.73 означает, что только 73% значений больше или равно определенному квантилю; по определению это должно быть > = 75%

https://github.com/numpy/numpy/blob/v1.15.1/numpy/lib/function_base.py#L3543-L3644

 default value is linear
    interpolation : {'linear', 'lower', 'higher', 'midpoint', 'nearest'}
        This optional parameter specifies the interpolation method to
        use when the desired quantile lies between two data points
        ``i < j``:
            * linear: ``i   (j - i) * fraction``, where ``fraction``
              is the fractional part of the index surrounded by ``i``
              and ``j``.
            * lower: ``i``.
            * higher: ``j``.
            * nearest: ``i`` or ``j``, whichever is nearest.
            * midpoint: ``(i   j) / 2``.
  

Если вы выберете «выше», вы получите то, что хотите

Как заявил @SamProell, существуют разные соглашения для вычисления центилей, как вы можете видеть здесь с вычислительными методами квартиля (американский способ). Здесь у нас четное количество данных, поэтому давайте придерживаться первого метода и попробуем посмотреть, как мы будем делать это «вручную».

Сначала отсортируйте данные:

 > x2=np.sort(x)
> print(x2)
array([324, 324, 327, 328, 330, 334, 334, 336, 341, 342, 342, 344, 345,
       346, 349, 349, 352, 353, 354, 354, 355, 355, 358, 359, 361, 361,
       370, 374, 377, 386])
  

Затем разделите данные на две половины:

 > x2_low = x2[:int(len(x2)/2)]
array([324, 324, 327, 328, 330, 334, 334, 336, 341, 342, 342, 344, 345,
       346, 349])
> x2_up = x2[int(len(x2)/2):]
array([349, 352, 353, 354, 354, 355, 355, 358, 359, 361, 361, 370, 374,
       377, 386])
  

Наконец, найдите медиану (то есть значение, сокращающее ваши данные пополам). Здесь лежит выбор как len(x2_low)=15 . Вы могли бы сказать, что медиана x2_low является его 8-м значением (индекс 7 в python), тогда:

 > q = x2_low[int(len(x2_low)/2)]
336
> len(x2_low[x2_low<q])
7
> len(x2_low[x2_low>q])
7
  

это также то, что np.median(x2_low) вернуло бы, или даже q=np.percentile(x2,25,interpolation='lower') . Но вы все равно получите:

 > len(x[x<q])/len(x)
0.2333333333334
  

Поскольку ваше количество данных не кратно 4. Теперь все зависит от того, чего вы хотите достичь, вот результаты, которые вы можете получить для всех параметров интерполяции:

linear : значение по умолчанию, вы получили его в своем вопросе

lower : смотрите выше

higher :

 > q=np.percentile(x,25,interpolation='higher')
341
> len(x[x>q])/len(x)
0.7
> len(x[x<q])/len(x)
0.26666666666666666
  

nearest :

 > q=np.percentile(x,25,interpolation='nearest')
336
> len(x[x>q])/len(x)
0.7333333333333333
> len(x[x<q])/len(x)
0.23333333333333334
  

и, наконец midpoint :

 > q=np.percentile(x,25,interpolation='midpoint')
> len(x[x>q])/len(x)
0.7333333333333333
> len(x[x<q])/len(x)
0.26666666666666666
  

Все зависит от того, что вы хотите сделать с этим впоследствии. Для получения дополнительной информации о различных методах вычисления ознакомьтесь с документацией numpy.