분류 전체보기
-
강화학습 : Q-learning카테고리 없음 2023. 4. 6. 23:37
Q-learning 대표적인 off policy 강화학습 알고리즘, Q-function을 추정하여 에이전트가 최적의 행동을 선택할 수 있도록 하는 방법 * Q-function : Action value function을 의미, 특정 상태에서 특정 행동을 하였을 때 최종적으로 얻을 수 있다고 기대되는 보상 (즉, 과거의 경험을 통해서 특정 상태에서의 특정 행동을 했을 때, 최종적으로 얻게될 보상의 예측값) * off policy : 에이전트가 실제로 가지 않은 곳들의 정보를 포함하여 Q-function을 업데이트하는 것 (= 실제 가봤던 곳 뿐만 아니라 현재 상태에서 이동 가능한 다른 상태들도 전부 고려하여 Q-function 업데이트) Q-function 업데이트 방법의 구분 여기서 Q-learning는..
-
강화학습 : SARSA전공/반도체 2023. 4. 6. 21:07
SARSA : State-Action-Reward-State-Action 현재 상태-현재 상태에서 취한 행동-그에 따른 보상-그 다음 상태-그 다음 상태에서 취한 행동 대표적인 on policy 강화학습 알고리즘, Q-function을 추정하여 에이전트가 최적의 행동을 선택할 수 있도록 하는 방법 * Q-function : Action value function을 의미, 특정 상태에서 특정 행동을 하였을 때 최종적으로 얻을 수 있다고 기대되는 보상 (즉, 과거의 경험을 통해서 특정 상태에서의 특정 행동을 했을 때, 최종적으로 얻게될 보상의 예측값) * on policy : 에이전트의 policy에 따라서 Q-function을 업데이트하는 것 (= 실제 가봤던 곳만 고려하여 Q-function 업데이트) ..
-
[Design Compiler 작업 흐름] 4~5. Design Constraint 및 합성 전략 설정전공/Design Compiler 2021. 4. 30. 15:59
4. Set Design Constaints : Design constraints를 설정 해주는 단계이다. 이전에 포스팅했던 SDC 파일에 대한 명령어와 같다. (.sdc 파일과 같은 역할인데, 좀 더 세부적으로 코드를 추가하고 싶을 때 직접 사용하면 될 것 같다.) 5. Select compile strategy : Top-down 방식으로 컴파일을 할 것이냐, Bottom-up 방식으로 컴파일을 할 것이냐를 정하는 단계 아무 것도 써주지 않는다면 기본적으로 Top-down 방식으로 컴파일된다. 1) 해당 단계를 위해 알아야 할 정보 Top-down : 가장 상위 모듈과 그 하위 모듈들이 전부 함께 컴파일된다. (같은 조건으로) Bottom-up : 각각의 하위 모듈들이 독립적으로 컴파일되고, 하위 계..
-
[Design Compiler 작업 흐름] 3. Design environment 정의전공/Design Compiler 2021. 4. 29. 22:19
3. Design environment 정의 : 설계 시 사용할 환경을 설정해 주는 단계 대략적으로 밑의 그림을 보면 이해하기 쉽다. 1) 해당 단계를 위해 알아야 할 정보 set_operating_conditions : 동작 온도, 동작 전압, 공정 정보등을 지정해주는 명령어 (PVC) Technology library에 보통은 명시되어 있어서, 따로 명령어를 적어 줄 필요는 없다. 다만, 굳이 적어주고 싶다면 다음과 같이 적어주면 된다. set_operating_conditions WCCOM -lib my_lib (WCCOM : Worst-Case_COMmercial) set_drive : 입력 단에 들어가는 저항을 명시할 수 있다. 기본 값은 저항이 0으로, 모든 전류가 driving되는 경우이다...
-
[Design Compiler 작업 흐름] 2. Design 파일 읽기전공/Design Compiler 2021. 4. 28. 19:45
2. Design 파일 읽기 : 개발한 Verilog 혹은 VHDL 파일과 .sdc 파일 등을 읽어 들이는 단계이다. 1) 해당 단계를 위해 알아야 할 정보 read_file : 베릴로그 파일을 읽는 명령어 ("read_file -format verilog" 명령어는 "read_verilog" 명령어와 같은 역할을 한다.) 기본적으로 "read_file = analyze + elaborate" 처럼 쓰인다. analyze : Top HDL 소스 파일을 읽는 명령어이다. 파일의 에러를 확인하는 명령어이다. elaborate : Top HDL 소스 파일을 읽는 명령어이다. 파일의 에러를 확인하는 명령어이다. PS. read_file과 analyze & elaborate 명령어의 다른 점 2) 해당 단계를 수..
-
[Design Compiler 작업 흐름] 1. Library 설정전공/Design Compiler 2021. 4. 28. 18:43
0. RTL 코드 개발 1. Library 설정 : 우리가 Gate로 합성하기 위해 해당 Gate의 동작과 Power소모, Timing등이 적혀 있는 라이브러리 파일을 지정해 주어야 한다. 1) 해당 단계를 위해 알아야 할 정보 Target_library : RTL 코드를 기능적으로 같은 역할을 하는 Gate로 Mapping해주는 라이브러리 (Cell swap은 Target_library의 정보를 토대로 이루어 진다.) Link_library : Gate level로 만들어진 Instance들을 라이브러리의 Gate로 연결하는 기능을 수행하는 라이브러리 Symbol_library : 말그대로, Graphic적인 Cell의 정보(Symbol)를 담고 있는 라이브러리이다. Design Compiler를 GU..
-
Floorplan을 Constraint-Graph Pair로 변환하는 방법전공/VLSI 설계 2021. 4. 8. 20:22
이 과정은 매우 간단하다. 다음 그림과 같은 Floorplan이 있다고 가정해보자. 목표 : 우리는 해당 Floorplan을 최적화하기 위해 우리가 아는 자료구조인 CGP(VCP와 HCP)로 변환하려 한다. 1단계 : t node(sink node)와 s node(source node)를 각각 생성한다. 2단계 : s node에서 t node로 이동하는 방향으로 모든 노드를 연결한다. 3단계 : 중복되는 경로를 모두 삭제하면 CGP가 완성된다.