• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.289-294
• /
• 2023

대형 언어 모델(Large Language Model)은 방대한 데이터와 파라미터를 기반으로 문맥 이해에서 높은 성능을 달성하였지만, Human Alignment를 위한 문장 생성 제어 연구는 아직 활발한 도전 과제로 남아있다. 본 논문에서는 Instruction Tuning을 통한 문장 생성 제어 실험을 진행한다. 자연어 처리 도구를 사용하여 단일 혹은 다중 제약 조건을 포함하는 Instruction 데이터 셋을 자동으로 구축하고 한국어 언어 모델인 Polyglot-Ko 모델에 fine-tuning 하여 모델 생성이 제약 조건을 만족하는지 검증하였다. 실험 결과 4개의 제약 조건에 대해 평균 0.88의 accuracy를 보이며 효과적인 문장 생성 제어가 가능함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.196-202
• /
• 2023

Large Language Models (LLM)의 출현은 자연어 처리 분야의 연구 패러다임을 전환시켰다. LLM의 핵심적인 성능향상은 지시어 튜닝(instruction-tuning) 기법의 결과로 알려져 있다. 그러나, 현재 대부분의 연구가 영어 중심으로 진행되고 있어, 다양한 언어에 대한 접근이 필요하다. 본 연구는 한국어 지시어(instruction-following) 모델의 개발 및 최적화 방법을 제시한다. 본 연구에서는 한국어 지시어 데이터셋을 활용하여 LLM 모델을 튜닝하며, 다양한 데이터셋 조합의 효과에 대한 성능 분석을 수행한다. 최종 결과로 개발된 한국어 지시어 모델을 오픈소스로 제공하여 한국어 LLM 연구의 발전에 기여하고자 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.684-686
• /
• 2023

최근 대규모 언어모델 (large language models) 을 활용하여 다양한 자연어처리 문제를 추가학습 없이 풀어내기 위한 zero-shot 학습에 대한 연구가 활발히 수행되고 있다. 특히 프롬프트 튜닝(prompt tuning)을 활용하여 적은 학습만으로도 효과적으로 다양한 태스크에 적응하도록 돕는 방법이 최근 대규모 언어모델의 성능을 향상시키고 있다. 본 논문은 명령어 튜닝 (instruction tuning) 이 언어모델에 끼치는 영향을 분석하였다. 명령어 튜닝된 모델이 기존 언어모델과 비교하여 변화된 문장 생성 특징, 생성된 문장의 품질 등에 대한 분석을 수행하고 결과를 제시한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.217-221
• /
• 2023

최근 몇 년 동안, Large Language Model(LLM)의 발전은 인공 지능 연구 분야에서 주요 도약을 이끌어 왔다. 이러한 모델들은 복잡한 자연어처리 작업에서 뛰어난 성능을 보이고 있다. 특히 Human Alignment를 위해 Supervised Fine Tuning, Reinforcement Learning, Chain-of-Hindsight 등을 적용한 언어모델이 관심 받고 있다. 본 논문에서는 위에 언급한 3가지 지시학습 방법인 Supervised Fine Tuning, Reinforcement Learning, Chain-of-Hindsight 를 Llama, OPT 모델에 적용하여 성능을 측정 및 비교한다.

• Journal of the Korean Institute of Electrical and Electronic Material Engineers
• /
• v.17 no.5
• /
• pp.476-480
• /
• 2004

The characteristics of antimony implants are relatively well-known. Antimony has lower diffusion coefficient, shorter implantation range, and smaller scattering as compared with conventional dopants such as phosphorous and arsenic. It has been commonly used in the doping of buried layer in Bi-CMOS process. In this paper, characteristics and appropriate condition of monitoring in antimony implant beam tuning using Sb$_2$O$_3$were investigated to get a reliable process. TW(Thema Wave) and R$_{s}$(Sheet Resistance) test were carried out to set up condition of monitoring for stable operation through the periodic inspection of instruction condition. The monitoring was progressed at the point that the slant of R$_{s}$ varied significantly to Investigate the variation of instruction accurately.

• Proceedings of the Korean Institute of Electrical and Electronic Material Engineers Conference
• /
• 2004.07a
• /
• pp.369-372
• /
• 2004

The characteristics of antimony implants are relatively well-known. Antimony has lower diffusion coefficient, shorter implantation range, and smaller scattering as compared with conventional dopants such as phosphorous and arsenic. It has been commonly used in the doping of buried layer in Bi-CMOS process. In this paper, characteristics and appropriate condition of monitoring in antimony implant beam tuning using $Sb_2O_3$ were investigated to get a reliable process. TW(Thema Wave) and Rs(Sheet Resistance) test were carried out to set up condition of monitoring for stable operation through the periodic inspection of instruction condition. The monitoring was progressed at the point that the slant of Rs varied significantly to investigate the variation of instruction accurately.

• ETRI Journal
• /
• v.11 no.4
• /
• pp.105-118
• /
• 1989

HARP(High performance Architecture for RISC type Processor)는 고유의 명령어 세트, 데이터 타입, 메모리 입출력, 예외 처리 기능을갖는 32비트 VLSI 프로세서 구조이다. 마이크로 아키텍츄어는 설계된 구조를 기대할 수 있는최고 성능을 갖도록 구조(architecture)와 구현(implementation) 사이의 최적 모델링을 통해 정의되는 구조체로서 구조의 개념 설계를 구현의 실물 설계로 변환 시켜주는 조율(tuning)모델이다. HARP의 고유한 명령어 세트를 비롯한 구조적 기능들을 최적 구현 하기위해 32비트 크기의 명령어 입력 유니트(Instruction Fetch Unit), 데이터 입출력 유니트(Data I/O Unit), 명령어/데이터 처리유니트(Instruction/Data Processing Unit), 예외 상황 처리 유니트(Exception Processing Unit)등 4개 유니트가 설계되었으며 이들 4개 유니트의 동작을 최대 속도로 유지시키기 위해 각급 주요 설계 변수들이 시뮬레이션을 통해 최적화 되었다. 유효 채널길이 $0.7\mum$급 3층 메탈 배선의 HCMOS(High performance CMOS)공정 기술을 구현 기준 기술로 사용하여 50MHz외 동작 주파수에서 최대50 MIPS(Million Instructions Per Second)의 성능을 갖도록 3단계 파이프라인이 설계되었다. 단일 위상의 50MHz클럭 입력과 동기화된 명령어/데이터 입출력을 위해 액세스 타임 20nsec이내의 고속 메모리 입출력 구조가 시뮬레이션되었으며 설계된 마이크로 아키텍츄어를 이용하여 HARP구조의 기대된 최대 성능을 검증하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.45-46
• /
• 2023

In order to improve and promote immersive learning experiences for English as a Second Language (ESL) students, the deployment of a YOLOv5 model for object identification in videos is proposed. The procedure includes collecting annotated datasets, preparing the data, and then fine-tuning a model using the YOLOv5 framework. The study's major objective is to integrate a well-trained model into ESL instruction in order to analyze the effectiveness of AI application in the field.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.591-595
• /
• 2023

최근 지시 학습을 통해 미세 조정한 자연어 처리 모델들이 큰 성능 향상을 보이고 있다. 하지만 한국어로 학습된 자연어 처리 모델에 대해 지시 학습을 진행할 수 있는 데이터 세트는 공개되어 있지 않아 관련 연구에 큰 어려움을 겪고 있다. 본 논문에서는 T5 기반 한국어 자연어 처리 모델인 Long KE-T5로 영어 데이터 세트를 번역하여 한국어 지시 학습 데이터 세트를 구축한다. 또한 구축한 데이터 세트로 한국어로 사전 학습된 Long KE-T5 모델을 미세 조정한 후 성능을 확인한다.

• Education of Primary School Mathematics
• /
• v.24 no.4
• /
• pp.203-216
• /
• 2021

Seeing the elapsed time as a quantity that can be measured is quite challenging for students while making students see it is also challenging for teachers. Tuning on these challenges, this article reports on what learning opportunities elementary teachers provide when they teach elapsed time focusing on quantitative objectification. I observed three mathematics classrooms where the elapsed time was taught by three elementary teachers and did a narrative analysis on the instructions. All three teachers utilized certain tools to support students access to the elapsed time as a quantity. They appropriated various quantitative attributes of the tool. In the case of the analog clock, one teacher tried to quantification the elapsed time with the number of minute hand's turning, while the other teacher indicated the distance of minute hand's moving. One teacher represented the elapsed time with the longitudinal attribute of the time band. Standing on the findings, the didactical implications of various attempts for quantitative objectification of the elapsed time implemented were discussed.