심층 강화학습기반 연속상태공간 제어를 위한 보상 함수 분석

강민구; 김기응; MinKu Kang; Kee-Eung Kim

연구문헌

국내 논문지

홈 > 연구문헌 > 국내 논문지 > 한국정보과학회 논문지 > 정보과학회논문지 (Journal of KIISE)

정보과학회논문지 (Journal of KIISE)

Current Result Document : 3 / 5 이전건 다음건

한글제목(Korean Title)	심층 강화학습기반 연속상태공간 제어를 위한 보상 함수 분석
영문제목(English Title)	Analysis of Reward Functions in Deep Reinforcement Learning for Continuous State Space Control
저자(Author)	강민구 김기응 MinKu Kang Kee-Eung Kim
원문수록처(Citation)	VOL 47 NO. 01 PP. 0078 ~ 0087 (2020. 01)
한글내용 (Korean Abstract)	연속상태공간에서 주어진 태스크의 제어를 위해 심층 신경망을 사용하여 가치함수와 정책함수를 근사하는 심층 강화학습(Deep Reinforcement Learning) 알고리즘은 최근 유망한 결과들을 보여 주었다. 그러나 함수근사를 위해 사용되는 심층 신경망의 비-컨벡스 특성이 최적화 알고리즘의 이론적 분석을 종종 어렵게 만들어 왔으며 이로 인하여 심층 강화학습 알고리즘의 점근적 전역 최적해로의 수렴과 같은 이론적 보장이 부족하다. 강화학습에서의 보상함수는 학습 에이전트의 전체적인 특성을 결정짓는 중요한 요소 중 하나라는 사실에 기인하여, 본 논문에서는 심층 강화학습 알고리즘의 비-컨벡스 최적화 과정의 이론적 수렴과 같은 측면보다는 작지만 중요한 측면 중 하나로써, 심층강화학습에서 널리 사용되는 보상함수들의 구조와 이들이 학습 알고리즘에 미치는 영향에 대해 분석한다. 심층 강화학습에서 보상함수가 흔히 시행착오법에 기반하여 설계되어온 것을 고려했을 때, 본 논문에서 제안하는 분석이 심층강화학습의 보상 함수 설계에 유용한 가이드가 될 수 있을 것으로 기대한다.
영문내용 (English Abstract)	Deep Reinforcement Learning (DRL), which uses deep neural networks for the approximation of the value function and the policy, in continuous state-space control tasks has recently shown promising results. However, the use of deep neural networks as function approximators has often resulted in intractable analyses of DRL algorithms mainly due to their non-convexities and thus a lack of theoretical guarantee such as asymptotic global convergence of the learning algorithm. Considering the fact that the reward function in reinforcement learning is one of the key entities that determines the overall characteristics of the learning agents, we focused on a smaller but an important aspect of the analysis, investigating the structure of widely used reward functions in DRL tasks and their possible effects on the learning algorithm. The proposed analysis may facilitate identification of appropriate reward functions in DRL tasks, which has often been conducted via trial and error.
키워드(Keyword)	강화학습 보상함수 비-모델 강화학습 보상함수 구조 데이터 기반 제어 reinforcement learning reward function model-free reinforcement learning reward structure data-driven control
파일첨부	PDF 다운로드