Блог

Я пытаюсь создать модуль python для нейронной сети, который можно импортировать из других программ. Я тестирую этот модуль с некоторыми данными из kaggle. Однако, независимо от того, каковы входные данные, выходные данные почти всегда одинаковы, в пределах 1e-7!! Я нормализовал свои данные и попытался добавить больше скрытых слоев и больше скрытых узлов. Я также снизил скорость обучения и снизил ее по мере продолжения процесса обучения. Я попытался добавить смещение, но это имело отрицательный эффект

Вот импортируемый hidden_net.py модуль:

 class network:
    def __init__(self,layer_num,learning_rate=0.7,seed=None,logistic_coefficent=0.9):
        self.logistic_coefficent=logistic_coefficent
        self.learning_rate=learning_rate
        self.w0 = np.random.random((layer_num[0],layer_num[1]))
        self.w1 = np.random.random((layer_num[1],layer_num[2]))

        np.random.seed(seed)
    def sigmoid(self,x,reverse=False):
            if(reverse==True):
                return x*(1-x)
            return 1/(1 np.exp(-x))

    def train(self,inps,outs,mod_learn_rate=0):
        if mod_learn_rate == 0:
            mod_learn_=self.learning_rate
        inps=np.array(inps)
        layer0 = inps
        layer1 = self.sigmoid(np.dot(layer0,self.w0))
        layer2 = self.sigmoid(np.dot(layer1,self.w1))
        layer2_error = outs - layer2
        layer2_delta = layer2_error*self.sigmoid(layer2,reverse=True)#*mod_learn_rate
        layer1_error = layer2_delta.dot(self.w1.T)
        layer1_delta = layer1_error * self.sigmoid(layer1,reverse=True)#*mod_learn_rate

        self.w1  = layer2.T.dot(layer2_delta)
        self.w0  = layer1.T.dot(layer1_delta)
        return np.mean(abs(layer2_error))
    def calcout(self,inp):
        inp=np.array(inp)
        layer0=inp
        layer1=self.sigmoid(np.dot(layer0,self.w0))
        out=self.sigmoid(np.dot(layer1,self.w1))
        return out
 

И скрипт, импортирующий указанный модуль:

 import random
from numpy import mean
random.seed(50404)
op=open('Mall_Customers_Mod.txt','r')
full=op.read()
op.close()
full_lines=full.split('n')
training_lines=random.sample(full_lines,175)
training_inputs=[]
training_outputs=[]
for j in training_lines:
    training_inputs.append([float(j.split(',')[0]),float(j.split(',')[1]),float(j.split(',')[2])])
    training_outputs.append(float(j.split(',')[3]))
testing_lines=random.sample(full_lines,175)
testing_inputs=[]
testing_outputs=[]
for l in testing_lines:
    testing_inputs.append([float(l.split(',')[0]),float(l.split(',')[1]),float(j.split(',')[2])])
    testing_outputs.append(float(l.split(',')[3]))
nn=hidden_net.network([3,9,1],seed=50404,learning_rate=10)
er=[]
txt=''
try:
    for i in range(10000):
        for l in range(len(training_inputs)):
            er.append(nn.train(training_inputs[l],training_outputs[l],10/(i 1)))
        if (i%1000==0 or i==1 or i==0 or i==2):
            print('epoch:{}nerror:{}nlearning_rate={}'.format(i,mean(er),10/(i 1)))
            txt=txt 'nepoch:{}nerror:{}'.format(i,mean(er))
            er=[]
except KeyboardInterrupt:
    pass
print('done!')
score=0
error=[]
tests=0
for i in range(len(testing_inputs)):
    print('net output: '  str(nn.calcout(testing_inputs[i])))
    print('true output: ' str(testing_outputs[i]))
    error.append(abs(nn.calcout(testing_inputs[i]) - testing_outputs[i]))
print('error: {}'.format(mean(error)))
print('nnweights:{}'.format(nn.w0))
 

Нормализованные данные имеют вид

 Sex     Age          Income  Spending Score
0,0.019230769230769232,0.0,0.3877551020408163
0,0.057692307692307696,0.0,0.8163265306122449
1,0.038461538461538464,0.00819672131147541,0.05102040816326531
1,0.09615384615384616,0.00819672131147541,0.7755102040816326
1,0.25,0.01639344262295082,0.3979591836734694
 

Я бы ожидал, что результат будет меняться, но это не так

 net output: [0.49777196]
true output: 0.3979591836734694
net output: [0.49999907]
true output: 0.8571428571428571
net output: [0.49997918]
true output: 0.7346938775510204
net output: [0.49983941]
true output: 0.30612244897959184
net output: [0.49999985]
 

Это похоже на довольно распространенную ошибку в нейронных сетях со многими причинами. Я бы добавил награду, но я не могу ее себе позволить. Я надеюсь, что один из вас сможет понять это, пробуя разные вещи целую вечность!
Заранее спасибо,
3NiGMa

Ваша скорость обучения слишком высока для размера вашего набора данных, попробуйте увеличить ее до 0,1 или 1, чтобы ваши веса могли меняться быстрее