정보과학회논문지 (Journal of KIISE)
Current Result Document :
| 한글제목(Korean Title) |
사이버물리 시스템의 안전한 강화학습을 위한 안전가드와 가상경험주입 기법 |
| 영문제목(English Title) |
Safety Guards and Virtual Experience Injection Techniques for Safe Reinforcement Learning of Cyber-Physical Systems |
| 저자(Author) |
김영재
홍장의
Youngjae Kim
Jang-Eui Hong
|
| 원문수록처(Citation) |
VOL 49 NO. 02 PP. 0145 ~ 0156 (2022. 02) |
한글내용
(Korean Abstract) |
현실세계와 가상세계를 연결하는 CPS(Cyber-Physical System)는 다양한 분야에서 활용된다. 한편 CPS와 인공지능의 한 분야인 강화학습의 도입은 최근 연구의 관심사이다. 그러나 강화학습 특유의 탐색 과정에서 발생하는 무작위성은 안전필수인 CPS를 위험한 상태로 전이시킬 수 있다. 본 논문에서는 CPS의 안전한 강화학습을 위한 안전가드와 가상경험주입 기법을 제시한다. 안전가드는 CPS가 학습 도중 위험한 상태로 전이하는 것을 방지하지만 위험한 상태의 학습 경험을 갖지 않게 한다는 단점을 갖는다. 이러한 단점은 위험 상태에서의 가상 경험을 학습 과정에 주입하는 가상경험 주입을 통해 최소화시킨다. 제시된 방법은 CPS의 안전한 강화학습을 보장하며, 위험 상태로 전이된 경우에도 안전한 상태로 복귀할 수 있는 일차적인 안전망을 제공해준다. 또한 시뮬레이션을 통해 연구 결과의 효용성을 입증하였다. |
영문내용
(English Abstract) |
A Cyber-Physical System(CPS) that connects the real world and the cyber world is increasing in its application in diverse areas. Among the research on artificial intelligence, reinforcement learning, in particular, is achieving higher processing performance by learning the optimal policy with taking the reward. The convergence of reinforcement learning and CPS has been the focus of recent research. However, the randomness arising from the exploration by reinforcement learning can cause the problem of being able to transit safety-critical CPS to a dangerous state. This paper attempts to support the safe operation of CPS by proposing safety guards and virtual experience injection techniques for safe reinforcement learning of CPS. Although a safety guard prevents the CPS from transitioning to a dangerous state during learning, the guard has a disadvantage as it does not have a learning experience for the dangerous state. Virtual experience injection can minimize this disadvantage for a dangerous state into the learning process. The proposed safety guard and virtual experience injection techniques provide a primary safety device for transitioning to a safe state instead of a dangerous state while ensuring safe reinforcement learning of CPS. This approach has proven its effectiveness through an experimental study and simulations. |
| 키워드(Keyword) |
사이버물리 시스템(CPS)
강화학습
안전가드
가상경험주입
소프트웨어 안전성
Cyber-Physical Systems
reinforcement learning
safety guard
virtual experience injection
software safety
|
| 파일첨부 |
PDF 다운로드
|
