#python #numpy #scipy #interpolation #python-xarray
#python #numpy #scipy #интерполяция #python-xarray
Вопрос:
У меня есть достаточно большой размер 1000 x 4000 пикселей, xr.DataArray
возвращенный из запроса OpenDataCube, и большой набор (> 200 000) xy
значений точек. Мне нужно выполнить выборку массива, чтобы вернуть значение под каждой xy
точкой, и вернуть интерполированные значения (например, если точка находится на полпути между 0
и 1.0
пикселем, возвращаемое значение должно быть 0.5
).
xr.interp
позволяет мне легко выбирать интерполированные значения, но возвращает огромную матрицу каждой комбинации всех x
и y
значений, а не только значения для каждой xy
точки. Я пытался использовать np.diagonal
для извлечения только xy
значений точек, но это медленно, очень быстро приводит к проблемам с памятью и кажется неэффективным, учитывая, что мне все еще нужно дождаться интерполяции каждой комбинации значений с помощью xr.interp
.
Воспроизводимый пример
(используя всего 10 000 точек выборки (в идеале, мне нужно что-то, что может масштабироваться до > 200 000 или более):
# Create sample array
width, height = 1000, 4000
val_array = xr.DataArray(data=np.random.randint(0, 10, size=(height, width)).astype(np.float32),
coords={'x': np.linspace(3000, 5000, width),
'y': np.linspace(-3000, -5000, height)}, dims=['y', 'x'])
# Create sample points
n = 10000
x_points = np.random.randint(3000, 5000, size=n)
y_points = np.random.randint(-5000, -3000, size=n)
Текущий подход
%%timeit
# ATTEMPT 1
np.diagonal(val_array.interp(x=x_points, y=y_points).squeeze().values)
32.6 s ± 1.01 s per loop (mean ± std. dev. of 7 runs, 1 loop each)
Кто-нибудь знает более быстрый или экономичный по объему памяти способ достижения этого?
Ответ №1:
Чтобы избежать полной сетки, вам нужно ввести новое измерение.
x = xr.DataArray(x_points, dims='z')
y = xr.DataArray(y_points, dims='z')
val_array.interp(x=x, y=y)
Выдаст вам массив только вдоль нового измерения z:
<xarray.DataArray (z: 10000)>
array([4.368132, 2.139781, 5.693636, ..., 3.7505 , 3.713589, 2.28494 ])
Coordinates:
x (z) int64 4647 4471 4692 3942 3468 ... 3040 3993 3027 4427 3749
y (z) int64 -3744 -4074 -3634 -3289 -3221 ... -4195 -4131 -4814 -3362
Dimensions without coordinates: z
36.9 ms ± 1.25 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
В документах xarray есть хороший пример расширенной интерполяции.