Блог

Я попытался обучить свои данные, используя «Алгоритм градиентного спуска», чтобы минимизировать стоимость,

и, как ни странно, результат получался по-разному в зависимости от количества шагов.

Ниже приведен мой обучающий код:

 import tensorflow as tf
X = tf.placeholder(tf.float32, shape=[None, 2], name="X")
Y = tf.placeholder(tf.float32, shape=[None, 1], name="Y")
W = tf.Variable(tf.random_normal([2, 1]), name="weight")
b = tf.Variable(tf.random_normal([1]), name="bias")

hypo = tf.sigmoid(tf.matmul(X, W)  b)

cost = -tf.reduce_mean(Y*(tf.log*(hypo))   (1-Y)*(tf.log(1-hypo)))
optimizer = tf.train.GradientDescentOptimizer(learning_rate=1e-3)
train = optimizer.minimize(cost)

#### Saving model
SAVER_DIR = "model"
saver = tf.train.Saver()
checkpoint_path = os.path.join(SAVER_DIR, "model")
ckpt = tf.train.get_checkpoint_state(SAVER_DIR)

sess = tf.Session()
sess.run(tf.global_variables_initializer())
for step in range(4201):
    cost_val, hy_val, _ = sess.run([cost, hypo, train], feed_dict={X:x_data, Y=y_data})

saver.save(sess, checkpoint_path, global_step=step)
  

И восстановление модели:

 saver = tf.train.import_meta_graph('./model/model-4200.meta')
saver.restore(sess,'./model/model-4200')

result = sess.run(hypo, feed_dict={X: x_data_test})

fig, ax = plt.subplots()
ax.plot(Julian_test,y_data_test,'ro-') # Correct answer. all items are one of the two:0 or 1.
ax.plot(Julian_test,result,'bo-')      # Result of training. Predict answer within
plt.show() #                            sigmoid function, so all items are in range of 0 ~ 1.
  

Как показано на рисунке, результат sigmoid обратный.

Но, когда я изменил количество шагов на 5000, (в моем приведенном выше коде я изменил только шаг.)

результат выдан правильно.

Я не могу понять, почему это приводит к различию. Я что-то пропустил? Действительно нужна помощь!

проще говоря, увеличивая шаги, вы позволяете вашему коду / модели tensorflow просматривать данные несколько раз, следовательно, предоставляя ему возможность получать больше информации о данных. и обобщаем его представление.

Например, допустим, вы задаете своей модели 2000 шагов, и в конце 2000 шагов она находит минимум, и ваша модель останавливается на нем. но что, если минимальная стоимость, которую модель нашла до сих пор, не является глобальным минимумом, мы не можем сказать, потому что мы ограничили ее 2000 шагами. итак, допустим, вы увеличиваете шаги до 20000, и модель теперь находит другой минимум, который дает более точные результаты.

Но вам нужно убедиться, что ваша модель не подходит, т. е. обеспечивает точность ваших обучающих данных, но не вашего набора проверки. (Поэтому убедитесь, что не увеличиваете количество шагов слишком сильно).