Блог

Я работал над оптимизацией некоторых вычислений преобразования евклидова расстояния для программы, которую я создаю. Для предисловия, у меня мало формального образования в области компьютерных наук, кроме некоторых курсов, которые я посещал.

Я узнал из эмпирического тестирования в Python, что присвоение значений отдельным переменным и выполнение операций с ними происходит быстрее, чем выполнение операций с массивами. Можно ли это наблюдение воспроизвести для других?

Если да, то не мог бы кто-нибудь более подробно объяснить, почему существуют такие различия в скорости между этими двумя формами синтаксиса?

Пожалуйста, посмотрите пример кода ниже.

 import numpy as np
from math import sqrt
import time

# Numpy array math
def test1(coords):
    results = []
    for coord in coords:
        mins = np.array([1,1,1])
        # The three lines below seem faster than np.linalg.norm()
        mins = (coord - mins)**2
        mins = np.sum(mins) 
        results.append(sqrt(mins))
   
# Individual variable assignment math     
def test2(coords):
    results = []
    for point in coords:
        z, y, x = 1, 1, 1
        z = (point[0] - z)**2
        y = (point[1] - y)**2
        x = (point[2] - x)**2
        mins = sqrt(z   y   x)
        results.append(mins)
        
a = np.random.randint(0, 10, (500000,3))

t = time.perf_counter()
test1(a)
print ("Test 1 speed:", time.perf_counter() - t)

t = time.perf_counter()
test2(a)
print ("Test 2 speed:", time.perf_counter() - t)
 

• Тест 1 скорость: 3,261552719 с
• Скорость теста 2: 0,716983475 с

Операции Python и распределение памяти, как правило, намного медленнее, чем высоко оптимизированные, векторизованные операции с массивами Numpy. Поскольку вы зацикливаетесь на массиве и выделяете память, вы не получаете никаких преимуществ, которые предлагает Numpy. Это особенно плохо в вашем первом случае, потому что это приводит к чрезмерному количеству выделений небольших массивов.

Сравните свой код с тем, который выгружает все операции в Numpy вместо того, чтобы Python выполнял операции одну за другой:

 def test3(coords):
    mins = (coords - 1)**2
    results = np.sqrt(np.sum(mins, axis=1))
    return results
 

В моей системе это приводит к:

 Test 1 speed: 4.995761550962925
Test 2 speed: 1.3881473205983639
Test 3 speed: 0.05562112480401993