(구)정보과학회 논문지
Current Result Document :
| 한글제목(Korean Title) |
기대 출력값을 이용한 오류역전파의 성능 개선 |
| 영문제목(English Title) |
Improving the Performance of Error Back - Propagation with Expected Target Values |
| 저자(Author) |
김병철
김태진
김동규
조동섭
황희용
Byung Cheol Kim
Tae Jin Kim
Dong Kyu Kim
Dong Sub Cho
Hee Yeung Hwang
|
| 원문수록처(Citation) |
VOL 20 NO. 07 PP. 1039 ~ 1049 (1993. 07) |
한글내용
(Korean Abstract) |
본 논문에서는 표준 오류역전파(error back-propagation) 학습규칙이 갖고 있는 문제중의 하나인 신경망 마비(network paralysis) 현상을 완화하고 또한 수렴속도(convergence speed)도 향상시킨 개선된 오류역전파 학습규칙을 제안하고자 한다. 표준 오류역전파 학습규칙에서는 각각의 연결강도(connection weight)에 대한 오차표면(error surface)이 고정되어 있다고 가정하고 있다. 하지만 실제로 학습에 의해 각각의 연결강도에 변경하게 되면, 변경된 연결강도에 의해 각 노드의 출력값이 변하게 되어 아직 변경되지 않은 연결강도에 대한 오차표면이 이동하게 되므로 경사추적(gradient descent)시 오차가 발생하게 된다.
개선된 오류역전파 학습규칙은 오차표면의 이동에 의한 경사추적 오차를 보정하기 위해, 출력단에서의 오차를 이용해서 각 노드의 출력값을 예상하고, 예상된 출력값을 이용해 연결강도를 수정하는 학습규칙이다. 제안된 학습규칙을 여러가지의 학습환경에서 실험해 본 결과, 학습환경의 변화에 크게 영향을 받지 않으며 보다 빠르고 안정되게 학습할 수 있음을 알 수 있었다. |
영문내용
(English Abstract) |
In this paper we propose an improved error back-propagation learning rule that decreases the chance of falling into network paralysis and improves convergence speed. The standard error backpropagation learning rule assumes that the error surface seen by each connection weight is not affected by all the other connection weighs that are changing at the same time. But in practice, when a connection weight is updated, the new weight value causes a change in the error surfaces of other, yet to be updated, connection weights which leads to errors in gradient descent for these connection weights.
The improved error back-propagation learning rule compensates for gradient descent error due to affect of other changing connection weithts by predicting the output values for each node and updating connection weights using the expected output values. Experimental results show the proposed learning rule to have improvements in convergence speed and to be robust under various experimental environments. |
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
