C語言LSTM隱層神經元結構：

LSTM隱層神經元詳細結構：

//讓程序自己學會是否需要進位，從而學會加法#include "iostream"#include "math.h"#include "stdlib.h"#include "time.h"#include "vector"#include "assert.h"using namespace std;#define innode 2 //輸入結點數，將輸入2個加數#define hidenode 26 //隱藏結點數，存儲“攜帶位”#define outnode 1 //輸出結點數，將輸出一個預測數字#define alpha 0.1 //學習速率#define binary_dim 8 //二進制數的最大長度#define randval(high) ( (double)rand() / RAND_MAX * high )#define uniform_plus_minus_one ( (double)( 2.0 * rand() ) / ((double)RAND_MAX + 1.0) - 1.0 ) //均勻隨機分布int largest_number = ( pow(2, binary_dim) ); //跟二進制最大長度對應的可以表示的最大十進制數//激活函數double sigmoid(double x) { return 1.0 / (1.0 + exp(-x)); }//激活函數的導數，y為激活函數值double dsigmoid(double y) { return y * (1.0 - y); } //tanh的導數，y為tanh值double dtanh(double y) { y = tanh(y); return 1.0 - y * y; }//將一個10進制整數轉換為2進制數void int2binary(int n, int *arr) { int i = 0; while(n) { arr[i++] = n % 2; n /= 2; } while(i < binary_dim) ? ? ? ?arr[i++] = 0; }class RNN {public: ? ?RNN(); ? ?virtual ~RNN(); ? ?void train();public: ? ?double W_I[innode][hidenode]; ? ? //連接輸入與隱含層單元中輸入門的權值矩陣 ? ?double U_I[hidenode][hidenode]; ? //連接上一隱層輸出與本隱含層單元中輸入門的權值矩陣 ? ?double W_F[innode][hidenode]; ? ? //連接輸入與隱含層單元中遺忘門的權值矩陣 ? ?double U_F[hidenode][hidenode]; ? //連接上一隱含層與本隱含層單元中遺忘門的權值矩陣 ? ?double W_O[innode][hidenode]; ? ? //連接輸入與隱含層單元中遺忘門的權值矩陣 ? ?double U_O[hidenode][hidenode]; ? //連接上一隱含層與現在時刻的隱含層的權值矩陣 ? ?double W_G[innode][hidenode]; ? ? //用于產生新記憶的權值矩陣 ? ?double U_G[hidenode][hidenode]; ? //用于產生新記憶的權值矩陣 ? ?double W_out[hidenode][outnode]; ?//連接隱層與輸出層的權值矩陣 ? ?double *x; ? ? ? ? ? ? //layer 0 輸出值，由輸入向量直接設定 ? ?//double *layer_1; ? ? //layer 1 輸出值 ? ?double *y; ? ? ? ? ? ? //layer 2 輸出值};void winit(double w[], int n) //權值初始化{ ? ?for(int i=0; i I_vector; //輸入門 vector F_vector; //遺忘門 vector O_vector; //輸出門 vector G_vector; //新記憶 vector S_vector; //狀態值 vector h_vector; //輸出值 vector y_delta; //保存誤差關于輸出層的偏導 for(epoch=0; epoch<11000; epoch++) ?//訓練次數 ? ?{ ? ? ? ?double e = 0.0; ?//誤差 ? ? ? ?int predict[binary_dim]; ? ? ? ? ? ? ? //保存每次生成的預測值 ? ? ? ?memset(predict, 0, sizeof(predict)); ? ? ? ?int a_int = (int)randval(largest_number/2.0); ?//隨機生成一個加數 a ? ? ? ?int a[binary_dim]; ? ? ? ?int2binary(a_int, a); ? ? ? ? ? ? ? ? //轉為二進制數 ? ? ? ?int b_int = (int)randval(largest_number/2.0); ?//隨機生成另一個加數 b ? ? ? ?int b[binary_dim]; ? ? ? ?int2binary(b_int, b); ? ? ? ? ? ? ? ? //轉為二進制數 ? ? ? ?int c_int = a_int + b_int; ? ? ? ? ? ?//真實的和 c ? ? ? ?int c[binary_dim]; ? ? ? ?int2binary(c_int, c); ? ? ? ? ? ? ? ? //轉為二進制數 ? ? ? ?//在0時刻是沒有之前的隱含層的，所以初始化一個全為0的 ? ? ? ?double *S = new double[hidenode]; ? ? //狀態值 ? ? ? ?double *h = new double[hidenode]; ? ? //輸出值 ? ? ? ?for(i=0; i=0 ; p--) { x[0] = a[p]; x[1] = b[p]; //當前隱藏層 double *in_gate = I_vector[p]; //輸入門 double *out_gate = O_vector[p]; //輸出門 double *forget_gate = F_vector[p]; //遺忘門 double *g_gate = G_vector[p]; //新記憶 double *state = S_vector[p+1]; //狀態值 double *h = h_vector[p+1]; //隱層輸出值 //前一個隱藏層 double *h_pre = h_vector[p]; double *state_pre = S_vector[p]; for(k=0; k=0; k--) cout << predict[k]; ? ? ? ? ? ?cout << endl; ? ? ? ? ? ?cout << "true：" ; ? ? ? ? ? ?for(k=binary_dim-1; k>=0; k--) cout << c[k]; ? ? ? ? ? ?cout << endl; ? ? ? ? ? ?int out = 0; ? ? ? ? ? ?for(k=binary_dim-1; k>=0; k--) out += predict[k] * pow(2, k); cout << a_int << " + " << b_int << " = " << out << endl << endl; ? ? ? ?} ? ? ? ?for(i=0; i