INTISARI
oleh: Suhartono
Neural Networks (NN) merupakan salah satu contoh model nonlinear
yang mempunyai bentuk fungsional fleksibel dan mengandung beberapa
parameter yang tidak dapat diinterpretasikan seperti pada model parametrik.
Salah satu bentuk model NN yang banyak digunakan untuk berbagai aplikasi
adalah Feedforward Neural Networks (FFNN). Peramalan data runtun waktu
adalah salah satu bidang dari pemodelan statistik yang sejak awal telah banyak
digunakan untuk aplikasi model NN. Dalam penerapannya, FFNN mengandung
sejumlah parameter (weight) yang terbatas. Bagaimana mendapatkan model
FFNN yang sesuai, yaitu bagaimana menentukan kombinasi yang tepat antara
banyaknya variabel input dan banyaknya unit pada lapis tersembunyi (yang
berimplikasi pada banyaknya parameter yang optimal), merupakan topik sentral
dalam penelitian tentang NN.
Bentuk umum FFNN yang digunakan untuk peramalan runtun waktu
univariat pada penelitian ini adalah FFNN dengan satu lapis tersembunyi dan
satu unit neuron di lapis output. Estimasi parameter (weight) model ini dilakukan
dengan menerapkan algoritma backpropagation pada suatu optimisasi Nonlinear
Least Squares. Dengan menggunakan beberapa teorema asimtotis dan
konvergensi, dapat diturunkan sifat asimtotits estimator yang mengikuti distribusi
normal multivariat asimtotis. Sifat asimtotis estimator ini selanjutnya digunakan
untuk konstruksi uji statistik Wald yang dapat diimplementasikan untuk inferensia
statistik terhadap estimator-estimator model FFNN. Suatu uji statistik baru
melalui besaran kontribusi penambahan atau R2
incremental telah dapat dikonstruksi.
Uji ini dikonstruksi melalui tiga tahapan utama pemodelan, yaitu model
Tereduksi, model Lengkap, dan penentuan uji statistik F .
Kontribusi utama hasil penelitian ini adalah diperolehnya dua prosedur
baru untuk pembentukan model FFNN yang diaplikasikan untuk peramalan
runtun waktu. Prosedur pertama mengimplementasikan uji statistik F pada
R2
incremental dalam skema forward yang dimulai dengan penentuan jumlah unit di
lapis tersembunyi dan dilanjutkan penentuan variabel input yang optimal.
Prosedur kedua menggunakan kombinasi antara uji statistik F pada R2
incremental dalam skema forward untuk penentuan jumlah unit di lapis tersembunyi dengan
uji Wald dalam skema backward untuk penentuan variabel input yang optimal.
Hasil kajian empiris menunjukkan bahwa algoritma ini dapat bekerja
dengan baik dalam menentukan arsitektur FFNN terbaik yang diterapkan untuk
peramalan runtun waktu. Hasil-hasil empiris berkaitan dengan perbandingan
ketepatan ramalan antara model FFNN dengan model-model runtun waktu yang
lain menunjukkan bahwa tidak ada jaminan bahwa FFNN selalu memberikan
hasil yang terbaik. Selain itu, kajian empiris tentang efek pemrosesan awal data
juga telah dilakukan dan menunjukkan bahwa pemilihan metode pemrosesan
awal data yang tepat dapat secara signifikan meningkatkan ketepatan ramalan
FFNN. Pada akhirnya, kajian perbandingan ketepatan ramalan pada kasus
runtun waktu yang multivariat juga telah diperkenalkan. Hasil perbandingan pada
data produksi minyak menunjukkan bahwa FFNN memberikan hasil ramalan
yang lebih baik dibandingkan dengan model GSTAR (Generalized Space-Time
Autoregressive) dan VAR (Vector Autoregressive).
Kata kunci : Feedforward Neural Networks (FFNN), backpropagation, uji Wald,
R2 incremental, pemrosesan awal data, runtun waktu, univariat, multivariat
oleh: Suhartono
Neural Networks (NN) merupakan salah satu contoh model nonlinear
yang mempunyai bentuk fungsional fleksibel dan mengandung beberapa
parameter yang tidak dapat diinterpretasikan seperti pada model parametrik.
Salah satu bentuk model NN yang banyak digunakan untuk berbagai aplikasi
adalah Feedforward Neural Networks (FFNN). Peramalan data runtun waktu
adalah salah satu bidang dari pemodelan statistik yang sejak awal telah banyak
digunakan untuk aplikasi model NN. Dalam penerapannya, FFNN mengandung
sejumlah parameter (weight) yang terbatas. Bagaimana mendapatkan model
FFNN yang sesuai, yaitu bagaimana menentukan kombinasi yang tepat antara
banyaknya variabel input dan banyaknya unit pada lapis tersembunyi (yang
berimplikasi pada banyaknya parameter yang optimal), merupakan topik sentral
dalam penelitian tentang NN.
Bentuk umum FFNN yang digunakan untuk peramalan runtun waktu
univariat pada penelitian ini adalah FFNN dengan satu lapis tersembunyi dan
satu unit neuron di lapis output. Estimasi parameter (weight) model ini dilakukan
dengan menerapkan algoritma backpropagation pada suatu optimisasi Nonlinear
Least Squares. Dengan menggunakan beberapa teorema asimtotis dan
konvergensi, dapat diturunkan sifat asimtotits estimator yang mengikuti distribusi
normal multivariat asimtotis. Sifat asimtotis estimator ini selanjutnya digunakan
untuk konstruksi uji statistik Wald yang dapat diimplementasikan untuk inferensia
statistik terhadap estimator-estimator model FFNN. Suatu uji statistik baru
melalui besaran kontribusi penambahan atau R2
incremental telah dapat dikonstruksi.
Uji ini dikonstruksi melalui tiga tahapan utama pemodelan, yaitu model
Tereduksi, model Lengkap, dan penentuan uji statistik F .
Kontribusi utama hasil penelitian ini adalah diperolehnya dua prosedur
baru untuk pembentukan model FFNN yang diaplikasikan untuk peramalan
runtun waktu. Prosedur pertama mengimplementasikan uji statistik F pada
R2
incremental dalam skema forward yang dimulai dengan penentuan jumlah unit di
lapis tersembunyi dan dilanjutkan penentuan variabel input yang optimal.
Prosedur kedua menggunakan kombinasi antara uji statistik F pada R2
incremental dalam skema forward untuk penentuan jumlah unit di lapis tersembunyi dengan
uji Wald dalam skema backward untuk penentuan variabel input yang optimal.
Hasil kajian empiris menunjukkan bahwa algoritma ini dapat bekerja
dengan baik dalam menentukan arsitektur FFNN terbaik yang diterapkan untuk
peramalan runtun waktu. Hasil-hasil empiris berkaitan dengan perbandingan
ketepatan ramalan antara model FFNN dengan model-model runtun waktu yang
lain menunjukkan bahwa tidak ada jaminan bahwa FFNN selalu memberikan
hasil yang terbaik. Selain itu, kajian empiris tentang efek pemrosesan awal data
juga telah dilakukan dan menunjukkan bahwa pemilihan metode pemrosesan
awal data yang tepat dapat secara signifikan meningkatkan ketepatan ramalan
FFNN. Pada akhirnya, kajian perbandingan ketepatan ramalan pada kasus
runtun waktu yang multivariat juga telah diperkenalkan. Hasil perbandingan pada
data produksi minyak menunjukkan bahwa FFNN memberikan hasil ramalan
yang lebih baik dibandingkan dengan model GSTAR (Generalized Space-Time
Autoregressive) dan VAR (Vector Autoregressive).
Kata kunci : Feedforward Neural Networks (FFNN), backpropagation, uji Wald,
R2 incremental, pemrosesan awal data, runtun waktu, univariat, multivariat
ABSTRACT
Neural Networks (NN) is a prominent example of nonlinear model which
has a flexible functional form and contains parameters that have no interpretation
such as in parametric model. Feed forward neural networks (FFNN) is the most
commonly used NN architecture in many fields of application. Time series
forecasting has been an important application of NN from the very beginning. In
the application of FFNN, it contains limited number of parameters (weights). How
to find the best FFNN model, that is, how to find an accurate combination
between number of input variables and neurons in hidden layer (imply the optimal
number of parameters), is a central topic in NN research.
In this paper, the general form of FFNN used for univariate time series
forecasting is FFNN which contains one hidden layer and one unit neuron at the
output layer. Parameters estimation of FFNN model is done by implementing
backpropagation algorithm on the Nonlinear Least Squares optimization.
Asymptotic properties of the estimators that follow asymptotic multivariate normal
distribution can be derived by using some theorems of asymptotic and
convergence. Then, these properties are used to construct Wald test that can be
implemented for statistical inference of FFNN estimators. By using contribution
incremental or R2
incremental, the new statistic test has been constructed. This test
contains three main steps of modeling, i.e. Reduced model, Full model, and
determination of F test statistic.
Two new procedures for FFNN model building applied for time series
forecasting are the main contribution of this research. The first procedure
implements F test for R2
incremental inference in forward scheme that start from
determination of the number of neurons in hidden layer and then selection of the
optimal inputs. The second procedure uses a combination between F test for
R2
incremental inference in forward scheme for determining the number of neurons in
hidden layer and Wald test in backward scheme for selecting the optimal inputs.
Neural Networks (NN) is a prominent example of nonlinear model which
has a flexible functional form and contains parameters that have no interpretation
such as in parametric model. Feed forward neural networks (FFNN) is the most
commonly used NN architecture in many fields of application. Time series
forecasting has been an important application of NN from the very beginning. In
the application of FFNN, it contains limited number of parameters (weights). How
to find the best FFNN model, that is, how to find an accurate combination
between number of input variables and neurons in hidden layer (imply the optimal
number of parameters), is a central topic in NN research.
In this paper, the general form of FFNN used for univariate time series
forecasting is FFNN which contains one hidden layer and one unit neuron at the
output layer. Parameters estimation of FFNN model is done by implementing
backpropagation algorithm on the Nonlinear Least Squares optimization.
Asymptotic properties of the estimators that follow asymptotic multivariate normal
distribution can be derived by using some theorems of asymptotic and
convergence. Then, these properties are used to construct Wald test that can be
implemented for statistical inference of FFNN estimators. By using contribution
incremental or R2
incremental, the new statistic test has been constructed. This test
contains three main steps of modeling, i.e. Reduced model, Full model, and
determination of F test statistic.
Two new procedures for FFNN model building applied for time series
forecasting are the main contribution of this research. The first procedure
implements F test for R2
incremental inference in forward scheme that start from
determination of the number of neurons in hidden layer and then selection of the
optimal inputs. The second procedure uses a combination between F test for
R2
incremental inference in forward scheme for determining the number of neurons in
hidden layer and Wald test in backward scheme for selecting the optimal inputs.
The empirical results show that two procedures can work properly for
determining the optimal FFNN architecture that is applied for time series
forecasting. The comparison results between FFNN and other time series models
show that FFNN does not always yield the best forecast. Additionally, the
empirical study about the effect of data preprocessing has been also done and
the result shows that determination of an optimal data preprocessing can
increase significantly the forecast accuracy of FFNN. Finally, the comparison
study between FFNN and other time series models on the multivariate case has
been also conducted. The comparison result by using the oil production data
shows that FFNN yields better forecast than GSTAR (Generalized Space-Time
Autoregressive) and VAR (Vector Autoregressive) models.
Keywords: Feed forward Neural Networks (FFNN), backpropagation, Wald test,
R2 incremental, data preprocessing, time series, univariate, multivariate.
determining the optimal FFNN architecture that is applied for time series
forecasting. The comparison results between FFNN and other time series models
show that FFNN does not always yield the best forecast. Additionally, the
empirical study about the effect of data preprocessing has been also done and
the result shows that determination of an optimal data preprocessing can
increase significantly the forecast accuracy of FFNN. Finally, the comparison
study between FFNN and other time series models on the multivariate case has
been also conducted. The comparison result by using the oil production data
shows that FFNN yields better forecast than GSTAR (Generalized Space-Time
Autoregressive) and VAR (Vector Autoregressive) models.
Keywords: Feed forward Neural Networks (FFNN), backpropagation, Wald test,
R2 incremental, data preprocessing, time series, univariate, multivariate.
