新寡妇村传奇,小说阅读网,有声读物

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案

TensorFlow如何實現(xiàn)反向傳播-創(chuàng)新互聯(lián)

使用TensorFlow的一個優(yōu)勢是，它可以維護操作狀態(tài)和基于反向傳播自動地更新模型變量。
TensorFlow通過計算圖來更新變量和最小化損失函數(shù)來反向傳播誤差的。這步將通過聲明優(yōu)化函數(shù)（optimization function）來實現(xiàn)。一旦聲明好優(yōu)化函數(shù)，TensorFlow將通過它在所有的計算圖中解決反向傳播的項。當我們傳入數(shù)據(jù)，最小化損失函數(shù)，TensorFlow會在計算圖中根據(jù)狀態(tài)相應的調(diào)節(jié)變量。

10年積累的成都網(wǎng)站設計、網(wǎng)站制作經(jīng)驗，可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡服務。我雖然不認識你，你也不認識我。但先制作網(wǎng)站后付款的網(wǎng)站建設流程，更有察哈爾右翼后免費網(wǎng)站建設讓你可以放心的選擇與我們合作。

回歸算法的例子從均值為1、標準差為0.1的正態(tài)分布中抽樣隨機數(shù)，然后乘以變量A，損失函數(shù)為L2正則損失函數(shù)。理論上，A的最優(yōu)值是10，因為生成的樣例數(shù)據(jù)均值是1。

二個例子是一個簡單的二值分類算法。從兩個正態(tài)分布（N（-1，1）和N（3，1））生成100個數(shù)。所有從正態(tài)分布N（-1，1）生成的數(shù)據(jù)標為目標類0；從正態(tài)分布N（3，1）生成的數(shù)據(jù)標為目標類1，模型算法通過sigmoid函數(shù)將這些生成的數(shù)據(jù)轉換成目標類數(shù)據(jù)。換句話講，模型算法是sigmoid（x+A），其中，A是要擬合的變量，理論上A=-1。假設，兩個正態(tài)分布的均值分別是m1和m2，則達到A的取值時，它們通過-（m1+m2）/2轉換成到0等距的值。后面將會在TensorFlow中見證怎樣取到相應的值。

同時，指定一個合適的學習率對機器學習算法的收斂是有幫助的。優(yōu)化器類型也需要指定，前面的兩個例子會使用標準梯度下降法，它在TensorFlow中的實現(xiàn)是GradientDescentOptimizer()函數(shù)。

# 反向傳播
#----------------------------------
#
# 以下Python函數(shù)主要是展示回歸和分類模型的反向傳播

import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from tensorflow.python.framework import ops
ops.reset_default_graph()

# 創(chuàng)建計算圖會話
sess = tf.Session()

# 回歸算法的例子:
# We will create sample data as follows:
# x-data: 100 random samples from a normal ~ N(1, 0.1)
# target: 100 values of the value 10.
# We will fit the model:
# x-data * A = target
# Theoretically, A = 10.

# 生成數(shù)據(jù)，創(chuàng)建占位符和變量A
x_vals = np.random.normal(1, 0.1, 100)
y_vals = np.repeat(10., 100)
x_data = tf.placeholder(shape=[1], dtype=tf.float32)
y_target = tf.placeholder(shape=[1], dtype=tf.float32)

# Create variable (one model parameter = A)
A = tf.Variable(tf.random_normal(shape=[1]))

# 增加乘法操作
my_output = tf.multiply(x_data, A)

# 增加L2正則損失函數(shù)
loss = tf.square(my_output - y_target)

# 在運行優(yōu)化器之前，需要初始化變量
init = tf.global_variables_initializer()
sess.run(init)

# 聲明變量的優(yōu)化器
my_opt = tf.train.GradientDescentOptimizer(0.02)
train_step = my_opt.minimize(loss)

# 訓練算法
for i in range(100):
  rand_index = np.random.choice(100)
  rand_x = [x_vals[rand_index]]
  rand_y = [y_vals[rand_index]]
  sess.run(train_step, feed_dict={x_data: rand_x, y_target: rand_y})
  if (i+1)%25==0:
    print('Step #' + str(i+1) + ' A = ' + str(sess.run(A)))
    print('Loss = ' + str(sess.run(loss, feed_dict={x_data: rand_x, y_target: rand_y})))

# 分類算法例子
# We will create sample data as follows:
# x-data: sample 50 random values from a normal = N(-1, 1)
#     + sample 50 random values from a normal = N(1, 1)
# target: 50 values of 0 + 50 values of 1.
#     These are essentially 100 values of the corresponding output index
# We will fit the binary classification model:
# If sigmoid(x+A) < 0.5 -> 0 else 1
# Theoretically, A should be -(mean1 + mean2)/2

# 重置計算圖
ops.reset_default_graph()

# Create graph
sess = tf.Session()

# 生成數(shù)據(jù)
x_vals = np.concatenate((np.random.normal(-1, 1, 50), np.random.normal(3, 1, 50)))
y_vals = np.concatenate((np.repeat(0., 50), np.repeat(1., 50)))
x_data = tf.placeholder(shape=[1], dtype=tf.float32)
y_target = tf.placeholder(shape=[1], dtype=tf.float32)

# 偏差變量A (one model parameter = A)
A = tf.Variable(tf.random_normal(mean=10, shape=[1]))

# 增加轉換操作
# Want to create the operstion sigmoid(x + A)
# Note, the sigmoid() part is in the loss function
my_output = tf.add(x_data, A)

# 由于指定的損失函數(shù)期望批量數(shù)據(jù)增加一個批量數(shù)的維度
# 這里使用expand_dims（）函數(shù)增加維度
my_output_expanded = tf.expand_dims(my_output, 0)
y_target_expanded = tf.expand_dims(y_target, 0)

# 初始化變量A
init = tf.global_variables_initializer()
sess.run(init)

# 聲明損失函數(shù) 交叉熵(cross entropy)
xentropy = tf.nn.sigmoid_cross_entropy_with_logits(logits=my_output_expanded, labels=y_target_expanded)

# 增加一個優(yōu)化器函數(shù) 讓TensorFlow知道如何更新和偏差變量
my_opt = tf.train.GradientDescentOptimizer(0.05)
train_step = my_opt.minimize(xentropy)

# 迭代
for i in range(1400):
  rand_index = np.random.choice(100)
  rand_x = [x_vals[rand_index]]
  rand_y = [y_vals[rand_index]]

  sess.run(train_step, feed_dict={x_data: rand_x, y_target: rand_y})
  if (i+1)%200==0:
    print('Step #' + str(i+1) + ' A = ' + str(sess.run(A)))
    print('Loss = ' + str(sess.run(xentropy, feed_dict={x_data: rand_x, y_target: rand_y})))

# 評估預測
predictions = []
for i in range(len(x_vals)):
  x_val = [x_vals[i]]
  prediction = sess.run(tf.round(tf.sigmoid(my_output)), feed_dict={x_data: x_val})
  predictions.append(prediction[0])

accuracy = sum(x==y for x,y in zip(predictions, y_vals))/100.
print('最終精確度 = ' + str(np.round(accuracy, 2)))

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

標題名稱：TensorFlow如何實現(xiàn)反向傳播-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://fisionsoft.com.cn/article/echhd.html

新聞中心

其他資訊