Блог

есть ли способ выполнить следующее без предложения if?

Я читаю набор файлов netcdf с помощью pupynere и хочу создать массив с помощью numpy append. Иногда входные данные многомерны (см. переменную «a» ниже), иногда одномерны («b»), но количество элементов в первом измерении всегда одно и то же («9» в примере ниже).

 > import numpy as np
> a = np.arange(27).reshape(3,9)
> b = np.arange(9)
> a.shape
(3, 9)
> b.shape
(9,)
  

это работает так, как ожидалось:

 > np.append(a,a, axis=0)
array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8],
   [ 9, 10, 11, 12, 13, 14, 15, 16, 17],
   [18, 19, 20, 21, 22, 23, 24, 25, 26],
   [ 0,  1,  2,  3,  4,  5,  6,  7,  8],
   [ 9, 10, 11, 12, 13, 14, 15, 16, 17],
   [18, 19, 20, 21, 22, 23, 24, 25, 26]])
  

но добавление b работает не так элегантно:

 > np.append(a,b, axis=0)
ValueError: arrays must have same number of dimensions
  

Проблема с append заключается в (из руководства numpy)

«Когда указана ось, значения должны иметь правильную форму».

Мне пришлось бы сначала выполнить приведение, чтобы получить правильный результат.

 > np.append(a,b.reshape(1,9), axis=0)
array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8],
   [ 9, 10, 11, 12, 13, 14, 15, 16, 17],
   [18, 19, 20, 21, 22, 23, 24, 25, 26],
   [ 0,  1,  2,  3,  4,  5,  6,  7,  8]])
  

Итак, в моем цикле чтения файла я в настоящее время использую предложение if, подобное этому:

 for i in [a, b]:
    if np.size(i.shape) == 2:
        result = np.append(result, i, axis=0)
    else:
        result = np.append(result, i.reshape(1,9), axis=0)
  

Есть ли способ добавить «a» и «b» без оператора if?

РЕДАКТИРОВАТЬ: Хотя @Sven отлично ответил на исходный вопрос (используя np.atleast_2d() ), он (и другие) указал, что код неэффективен. В приведенном ниже ответе я объединил их предложения и заменил свой исходный код. Теперь это должно быть намного эффективнее. Спасибо.

Вы можете использовать numpy.atleast_2d() :

 result = np.append(result, np.atleast_2d(i), axis=0)
  

Тем не менее, обратите внимание, что повторное использование numpy.append() является очень неэффективным способом построения массива NumPy — его приходится перераспределять на каждом шаге. Если это вообще возможно, предварительно выделите массив с желаемым конечным размером и заполните его впоследствии с помощью нарезки.

Вы можете просто добавить все массивы в список, а затем использовать np.vstack() для объединения их всех вместе в конце. Это позволяет избежать постоянного перераспределения растущего массива с каждым добавлением.

 |1> a = np.arange(27).reshape(3,9)

|2> b = np.arange(9)

|3> np.vstack([a,b])
array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8],
       [ 9, 10, 11, 12, 13, 14, 15, 16, 17],
       [18, 19, 20, 21, 22, 23, 24, 25, 26],
       [ 0,  1,  2,  3,  4,  5,  6,  7,  8]])
  

Я собираюсь улучшить свой код с помощью @Sven, @Henry и @Robert. @Sven ответил на вопрос, поэтому он заслужил репутацию за этот вопрос, но — как подчеркивали он и другие — есть более эффективный способ сделать то, что я хочу.

Это включает в себя использование списка python, который позволяет добавлять с снижением производительности O (1), тогда как numpy.append() имеет снижение производительности O (N * * 2). После этого список преобразуется в массив numpy:

Предположим, i имеет либо тип a , либо b :

 > a = np.arange(27).reshape(3,9)
> b = np.arange(9)
> a.shape
(3, 9)
> b.shape
(9,)
  

Инициализируйте список и добавьте все прочитанные данные, например, если данные отображаются в порядке ‘aaba’.

 > mList = []
> for i in [a,a,b,a]:
     mList.append(i)
  

Ваш mList будет выглядеть следующим образом:

 > mList
[array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8],
   [ 9, 10, 11, 12, 13, 14, 15, 16, 17],
   [18, 19, 20, 21, 22, 23, 24, 25, 26]]),
 array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8],
   [ 9, 10, 11, 12, 13, 14, 15, 16, 17],
   [18, 19, 20, 21, 22, 23, 24, 25, 26]]),
 array([0, 1, 2, 3, 4, 5, 6, 7, 8]),
 array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8],
   [ 9, 10, 11, 12, 13, 14, 15, 16, 17],
   [18, 19, 20, 21, 22, 23, 24, 25, 26]])]
  

наконец, vstack список для формирования массива numpy:

 > result = np.vstack(mList[:])
> result.shape
(10, 9)
  

Еще раз спасибо за ценную помощь.

Как указывалось, append необходимо перераспределить каждый массив numpy. Альтернативное решение, которое выделяет один раз, было бы чем-то вроде этого:

 total_size = 0
for i in [a,b]:
    total_size  = i.size

result = numpy.empty(total_size, dtype=a.dtype)
offset = 0
for i in [a,b]:
    # copy in the array
    result[offset:offset i.size] = i.ravel()
    offset  = i.size

# if you know its always divisible by 9:
result = result.reshape(result.size//9, 9)
  

Если вы не можете предварительно вычислить размер массива, то, возможно, вы можете установить верхнюю границу размера, а затем просто предварительно выделить блок, который всегда будет достаточно большим. Затем вы можете просто преобразовать результат в представление в этом блоке:

 result = result[0:known_final_size]