Использование LibreOffice calc для подгонки плоскости по набору трехмерных точек, минимизирующих общее расстояние

#regression #curve-fitting #libreoffice-calc

#регрессия #подгонка кривой #libreoffice-calc

Вопрос:

Рассмотрим набор трехмерных точек:

 | y/z |   -1   |    0   |    1   |
|:---:|:------:|:------:|:------:|
|  5  | 19.898 | 19.905 | 19.913 |
|  0  | 19.898 | 19.92  | 19.935 |
| -3  | 19.883 | 19.883 | 19.92  |
| -4  | 19.86  | 19.898 | 19.898 |
  

где строки равны yi s, столбцы равны zi s, а содержимое — xi s.

Я хочу подогнать плоскость

 Ax   By   Cz   D = 0
  

в эти точки таким образом, чтобы общее расстояние:

 E = ∑ (|Axi   Byi   Czi   D| / √(A^2   B^2   C^2))
  

введите описание изображения здесь

необходимо минимизировать. Учтите, что я хочу иметь абсолютное отклонение |...| , а не дисперсию, используемую в обычных методах регрессии. Также, пожалуйста, учтите, что размер фактического фрейма данных намного больше, поэтому будет здорово, если решение также будет эффективным с точки зрения вычислений.

Я был бы признателен, если бы вы могли помочь мне с этой проблемой. Заранее спасибо.

Ссылка: уравнения отсюда.

Комментарии:

1. Можете ли вы выполнять внешние вызовы R, Python, Matlab и т.д. Из Calc Как часть решения?

2. ну, вы спрашиваете, могу ли я это сделать? тогда да. Я действительно использую Python без проблем. Если вы спрашиваете, может ли LibreOffice Calc это сделать, то я думаю, что может. Хотя я сам этого не делал. был бы рад научиться.

3. Кстати, пожалуйста, помогите мне с решением FOSS. У меня нет лицензии MATLAB. Предпочтительно Python. Но Scilab / ScicosLab, Octave, Julia, R … в этом порядке предпочтения. Честно говоря, я не так уж много сделал.

Ответ №1:

Эта автономная программа на Python должна выполнять то, что вы хотите для подгонки. Я не знаю, как вызвать это из Calc или передавать данные и результаты взад и вперед между Calc и Python.

Ax By Cz D = 0

преобразует в

Ax By D = -Cz

которое преобразуется в

(Ax By D) / -C = z

Это трехмерное уравнение поверхности вида «z = f (x, y)», легко подгоняемое с помощью scipy curve_fit, как показано здесь:

 import numpy, scipy, scipy.optimize
import matplotlib
from mpl_toolkits.mplot3d import  Axes3D
from matplotlib import cm # to colormap 3D surfaces from blue to red
import matplotlib.pyplot as plt

graphWidth = 800 # units are pixels
graphHeight = 600 # units are pixels

# 3D contour plot lines
numberOfContourLines = 16


def SurfacePlot(func, data, fittedParameters):
    f = plt.figure(figsize=(graphWidth/100.0, graphHeight/100.0), dpi=100)

    matplotlib.pyplot.grid(True)
    axes = Axes3D(f)

    x_data = data[0]
    y_data = data[1]
    z_data = data[2]

    xModel = numpy.linspace(min(x_data), max(x_data), 20)
    yModel = numpy.linspace(min(y_data), max(y_data), 20)
    X, Y = numpy.meshgrid(xModel, yModel)

    Z = func(numpy.array([X, Y]), *fittedParameters)

    axes.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap=cm.coolwarm, linewidth=1, antialiased=True)

    axes.scatter(x_data, y_data, z_data) # show data along with plotted surface

    axes.set_title('Surface Plot (click-drag with mouse)') # add a title for surface plot
    axes.set_xlabel('X Data') # X axis data label
    axes.set_ylabel('Y Data') # Y axis data label
    axes.set_zlabel('Z Data') # Z axis data label

    plt.show()
    plt.close('all') # clean up after using pyplot or else thaere can be memory and process problems


def ContourPlot(func, data, fittedParameters):
    f = plt.figure(figsize=(graphWidth/100.0, graphHeight/100.0), dpi=100)
    axes = f.add_subplot(111)

    x_data = data[0]
    y_data = data[1]
    z_data = data[2]

    xModel = numpy.linspace(min(x_data), max(x_data), 20)
    yModel = numpy.linspace(min(y_data), max(y_data), 20)
    X, Y = numpy.meshgrid(xModel, yModel)

    Z = func(numpy.array([X, Y]), *fittedParameters)

    axes.plot(x_data, y_data, 'o')

    axes.set_title('Contour Plot') # add a title for contour plot
    axes.set_xlabel('X Data') # X axis data label
    axes.set_ylabel('Y Data') # Y axis data label

    CS = matplotlib.pyplot.contour(X, Y, Z, numberOfContourLines, colors='k')
    matplotlib.pyplot.clabel(CS, inline=1, fontsize=10) # labels for contours

    plt.show()
    plt.close('all') # clean up after using pyplot or else thaere can be memory and process problems


def ScatterPlot(data):
    f = plt.figure(figsize=(graphWidth/100.0, graphHeight/100.0), dpi=100)

    matplotlib.pyplot.grid(True)
    axes = Axes3D(f)
    x_data = data[0]
    y_data = data[1]
    z_data = data[2]

    axes.scatter(x_data, y_data, z_data)

    axes.set_title('Scatter Plot (click-drag with mouse)')
    axes.set_xlabel('X Data')
    axes.set_ylabel('Y Data')
    axes.set_zlabel('Z Data')

    plt.show()
    plt.close('all') # clean up after using pyplot or else thaere can be memory and process problems


def func(data, A, B, C, D):
    x = data[0]
    y = data[1]
    return (A*x   B*y   D) / -C


if __name__ == "__main__":
    xData = numpy.array([1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0, 9.0])
    yData = numpy.array([11.0, 12.1, 13.0, 14.1, 15.0, 16.1, 17.0, 18.1, 90.0])
    zData = numpy.array([1.1, 2.2, 3.3, 4.4, 5.5, 6.6, 7.7, 8.0, 9.9])

    data = [xData, yData, zData]

    initialParameters = [1.0, 1.0, 1.0, 1.0] # these are the same as scipy default values in this example

    # here a non-linear surface fit is made with scipy's curve_fit()
    fittedParameters, pcov = scipy.optimize.curve_fit(func, [xData, yData], zData, p0 = initialParameters)

    ScatterPlot(data)
    SurfacePlot(func, data, fittedParameters)
    ContourPlot(func, data, fittedParameters)

    print('fitted prameters', fittedParameters)

    modelPredictions = func(data, *fittedParameters) 

    absError = modelPredictions - zData

    SE = numpy.square(absError) # squared errors
    MSE = numpy.mean(SE) # mean squared errors
    RMSE = numpy.sqrt(MSE) # Root Mean Squared Error, RMSE
    Rsquared = 1.0 - (numpy.var(absError) / numpy.var(zData))
    print('RMSE:', RMSE)
    print('R-squared:', Rsquared)
  

Комментарии:

1. это было чертовски быстро. 🙂 ты потрясающий. Я пройду через это и вернусь.

2. Python потрясающий, не я. Я муравей, стоящий на плечах гигантов, хотя это придает мне высокий вид.

3. конечно, это так. конечно, это так. но в любом случае вы очень добры, что возвращаете деньги сообществу. 🙂