Блог

Я обучаю модель для прогнозирования данных об осадках в будущем. Я уже завершил обучение модели. Я использую этот набор данных: https://www.kaggle.com/redikod/historical-rainfall-data-in-bangladesh Это выглядит следующим образом :

               Station   Yea  Month Day Rainfall dayofyear
1970-01-01  1   Dhaka   1970    1   1   0           1
1970-01-02  1   Dhaka   1970    1   2   0           2
1970-01-03  1   Dhaka   1970    1   3   0           3
1970-01-04  1   Dhaka   1970    1   4   0           4
1970-01-05  1   Dhaka   1970    1   5   0           5
  

Я завершил обучение с использованием обучающих и тестовых данных, используя код, который я нашел в Интернете в качестве ссылки. И затем я также сверил прогнозируемое значение с истинным значением.

Вот код,

 import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import tensorflow as tf

#data is in local folder
df = pd.read_csv("data.csv")
df.head(5)

df.drop(df[(df['Day']>28) amp; (df['Month']==2) amp; (df['Year']%4!=0)].index,inplace=True)
df.drop(df[(df['Day']>29) amp; (df['Month']==2) amp; (df['Year']%4==0)].index,inplace=True)
df.drop(df[(df['Day']>30) amp; ((df['Month']==4)|(df['Month']==6)|(df['Month']==9)|(df['Month']==11))].index,inplace=True)

date = [str(y) '-' str(m) '-' str(d) for y, m, d in zip(df.Year, df.Month, df.Day)]
df.index = pd.to_datetime(date)
df['date'] = df.index
df['dayofyear']=df['date'].dt.dayofyear
df.drop('date',axis=1,inplace=True)

df.head()
df.size()
df.info()

df.plot(x='Year',y='Rainfall',style='.', figsize=(15,5))

train = df.loc[df['Year'] <= 2015]
test = df.loc[df['Year'] == 2016]
train=train[train['Station']=='Dhaka']
test=test[test['Station']=='Dhaka']

X_train=train.drop(['Station','StationIndex','dayofyear'],axis=1)
Y_train=train['Rainfall']
X_test=test.drop(['Station','StationIndex','dayofyear'],axis=1)
Y_test=test['Rainfall']

from sklearn import svm
from sklearn.svm import SVC
model = svm.SVC(gamma='auto',kernel='linear')
model.fit(X_train, Y_train)

Y_pred = model.predict(X_test)

df1 = pd.DataFrame({'Actual Rainfall': Y_test, 'Predicted Rainfall': Y_pred})  
df1[df1['Predicted Rainfall']!=0].head(10)
  

После этого я попытался фактически использовать модель для прогнозирования осадков на несколько дней / месяцев / лет в будущем. Я использовал несколько, например, те, которые используются для определения цен на акции (после корректировки кода). Но, похоже, ни один из них не работает.
Поскольку я уже обучил модель, я подумал, что было бы легко просто спрогнозировать несколько дней в будущем. Предположим, я тренировался с данными за 1970-2015 годы, тестировал с данными за 2016 год. Теперь я хочу предсказать, каким будет количество осадков в 2017 году. Что-то вроде этого.

Мой вопрос в том, как я могу сделать это интуитивно понятным способом?

Я был бы очень признателен, если кто-нибудь сможет ответить на этот вопрос.

Редактировать @Mercury: это фактический результат после использования этого кода. Я сомневаюсь, что модель работает вообще… Это изображение фактического результата: https://i.stack.imgur.com/81Vk1.png

Я заметил здесь очень простую ошибку:

 X_train=train.drop(['Station','StationIndex','dayofyear'],axis=1)
Y_train=train['Rainfall']
X_test=test.drop(['Station','StationIndex','dayofyear'],axis=1)
Y_test=test['Rainfall']
  

Вы не удалили Rainfall столбец из своих обучающих данных.

Я сделаю смелое предположение и скажу, что вы получаете идеальную 100% точность как при обучении, так и при тестировании, верно? Вот причина. Ваша модель видит, что все, что присутствует в столбце «Осадки» в данных обучения, всегда является ответом, поэтому она делает именно это во время тестирования, таким образом получая идеальный результат — но на самом деле она вообще ничего не предсказывает!

Попробуйте запустить следующим образом:

 X_train=train.drop(['Station','StationIndex','dayofyear','Rainfall'],axis=1)
Y_train=train['Rainfall']
X_test=test.drop(['Station','StationIndex','dayofyear','Rainfall'],axis=1)
Y_test=test['Rainfall']

from sklearn import svm
model = svm.SVC(gamma='auto',kernel='linear')
model.fit(X_train, Y_train)
print('Accuracy on training set: {:.2f}%'.format(100*model.score(X_train, Y_train)))
print('Accuracy on testing set: {:.2f}%'.format(100*model.score(X_test, Y_test)))
  

Данные очень просты. Если вы участвуете в конкурсе kaggle, то интерпретируемость также не является большой проблемой, только точность, вы можете использовать любую сложную модель и получать хорошие результаты. Однако, если я хочу интерпретируемость, то я бы использовал дерево решений глубиной не более 4. Уменьшите глубину, и вы увидите более обобщенные деревья решений. Это даст вам хорошее представление о данных.

Некоторые предложения могут быть-

1. Полностью удалив столбцы «День», «месяц», эта информация уже сохранена в атрибуте «день года» (високосные годы на самом деле не такая уж большая проблема).
2. У вас осталось только три столбца: год, станция и день года.
3. Посмотрите, важен столбец Year или нет (важные решения дерева решений присутствуют на первых 2-3 глубинах), если это не так, возможно, покончите с этим. В реальном мире, где изменения намного более непредсказуемы, чем более обобщенная модель, тем она лучше. Станция и день года являются важными факторами, и их нельзя игнорировать.

Затем проверьте наличие сложных моделей, повышают ли они вашу точность? Они могли бы.

Если они это сделают, то используйте их или придерживайтесь более простых моделей из-за их высокой интерпретируемости, более быстрого времени вычисления.