• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권4호
• /
• pp.121-128
• /
• 2018

Sequence-to-sequence(Seq2seq) 모델은 입력열과 출력열의 길이가 다를 경우에도 적용할 수 있는 모델로 한국어 형태소 분석에서 많이 사용되고 있다. 일반적으로 Seq2seq 모델을 이용한 한국어 형태소 분석에서는 원문을 음절 단위로 처리하고 형태소와 품사를 음절 단위로 출력한다. 음절 단위의 형태소 분석은 사전 미등록어 문제를 쉽게 처리할 수 있다는 장점이 있는 반면 형태소 단위의 사전 정보를 반영하지 못한다는 단점이 있다. 본 연구에서는 Seq2seq 모델의 후처리로 재순위화 모델을 추가하여 형태소 분석의 최종 성능을 향상시킬 수 있는 모델을 제안한다. Seq2seq 모델에 빔 서치를 적용하여 K개 형태소 분석 결과를 생성하고 이들 결과의 순위를 재조정하는 재순위화 모델을 적용한다. 재순위화 모델은 기존의 음절 단위 처리에서 반영하지 못했던 형태소 단위의 임베딩 정보와 n-gram 문맥 정보를 활용한다. 제안한 재순위화 모델은 기존 Seq2seq 모델에 비해 약 1.17%의 F1 점수가 향상되었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.627-629
• /
• 2018

영단어를 음역 하는 방법으로 규칙 기반 방법, 통계 기반 방법, 최대 엔트로피 기반 방법 등이 연구되어 왔다. 본 연구에서는 최근 기계 번역에서 우수한 성능을 보인 Sequence-to-Sequence 모델을 영어-한글 음차 표기에 적용해보았다. 실험결과, 다른 방법에 비해 우수한 성능을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 춘계학술발표대회
• /
• pp.517-519
• /
• 2022

In 5G network environment, proactive mobility management is essential as 5G mobile networks provide new services with ultra-low latency through dense deployment of small cells. The importance of a system that actively controls device handover is emerging and it is essential to predict mobile trajectory during handover. Sequence-to-sequence model is a kind of deep learning model where it converts sequences from one domain to sequences in another domain, and mainly used in natural language processing. In this paper, we developed a system for predicting mobile trajectory in a wireless network environment using sequence-to-sequence model. Handover speed can be increased by utilize our sequence-to-sequence model in actual mobile network environment.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권5호
• /
• pp.267-278
• /
• 2017

영어는 동일 철자의 발음이 매우 다양한 언어이기 때문에 사전에 기술되어 있는 단어의 발음기호를 읽어야만 정확한 발음을 알 수 있다. 영어 사전마다 사용하는 발음기호(phonetic alphabet) 시스템이 다르며 같은 단어에 대해 기술하고 있는 발음 역시 다르다. 본 연구에서는 최근 딥 러닝 분야에서 널리 사용되고 있는 sequence-to-sequence (seq2seq) model을 이용하여 사전마다 다른 발음을 자동으로 변환해 보고자 한다. 4가지 다른 종류의 사전에서 추출한 발음 데이터를 이용하여 모두 12개의 seq2seq model을 구현하였으며, 발음 자동 변환 모듈의 정확 일치율은 74.5% ~ 89.6%의 성능을 보였다. 본 연구의 주요 목적은 다음의 두 가지이다. 첫째 영어 발음기호 시스템과 각 사전의 발음 데이터 특성을 살펴보는 것이고, 둘째, 발음 정보의 자동 변환과 오류 분석을 통해 seq2seq model의 특성을 살펴보는 것이다.

• 스마트미디어저널
• /
• 제7권4호
• /
• pp.17-23
• /
• 2018

자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

• ETRI Journal
• /
• 제42권1호
• /
• pp.101-107
• /
• 2020

For Korean language processing, morphological analysis is a critical component that requires extensive work. This morphological analysis can be conducted in an end-to-end manner without requiring a complicated feature design using a sequence-to-sequence model. However, the sequence-to-sequence model has a time complexity of O(n²) for an input length n when using the attention mechanism technique for high performance. In this study, we propose a linear-time Korean morphological analysis model using a local monotonic attention mechanism relying on monotonic alignment, which is a characteristic of Korean morphological analysis. The proposed model indicates an extreme improvement in a single threaded environment and a high morphometric F1-measure even for a hard attention model with the elimination of the attention mechanism formula.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.674-679
• /
• 2017

대용량의 텍스트 문서가 매일 만들어지는 빅데이터 환경에서 제목은 문서의 핵심 아이디어를 빠르게 집어내는데 매우 중요한 단서가 된다. 그러나 블로그 기사나 소셜 미디어 메시지와 같은 많은 종류의 문서들은 제목을 갖고 있지 않다. 본 논문에서는 주의집중 및 복사 작용을 가진 sequence-to-sequence 순환신경망을 사용한 제목 생성 모델을 제안한다. 제안 모델은 양방향 GRU(Gated Recurrent Unit) 네트워크에 기반 하여 입력 문장을 인코딩(encoding)하고, 입력 문장에서 자동 선별된 키워드와 함께 인코딩된 문장을 디코딩함으로써 제목 단어들을 생성한다. 93,631문서의 학습 데이터와 500문서의 평가 데이터를 가진 실험에서 주의집중 작용방법이 복사 작용방법보다 높은 어휘 일치율(ROUGE-1: 0.1935, ROUGE-2: 0.0364, ROUGE-L: 0.1555)을 보였고 사람이 정성평가한 지표는 복사 작용방법이 높은 성능을 보였다.

• 한국산학기술학회논문지
• /
• 제9권5호
• /
• pp.1392-1398
• /
• 2008

본 논문에서는 분해우선작업을 가지는 페트리 넷 기반의 분해순서계획모델을 제안한다. 모든 가능한 분해순서는 분해트리에 의해 생성되고, 분해우선순위와 분해가치 행렬을 이용하여 분해순서를 결정한다. 분해작업의 우선순위는 분해트리를 통하여 결정하고 분해작업의 가치는 제품의 마지막 수명단계의 경제적 분석에 의해 유도된다. 분해우선작업을 가지는 분해계획모델을 해결하기 위하여, 본 연구에서는 페트리 넷 기반의 휴리스틱 알고리듬을 개발한다. 개발된 알고리듬은 페트리 넷 모델의 전이순서에 기반을 두어 도달할 수 있는 모든 그래프의 노드를 탐색하여 최적의 혹은 근사최적의 분해순서를 생성한다. 본 연구에서는 냉장고를 대상으로 제안모델의 유효성을 입증한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.2-4
• /
• 2023

Sequence data plays an important role in the field of intelligence, especially for industrial control, traffic control and other aspects. Finding abnormal parts in sequence data has long been an application field of AI technology. In this paper, we propose an anomaly detection method for sequence data using a diffusion model. The diffusion model has two major advantages: interpretability derived from rigorous mathematical derivation and unrestricted selection of backbone models. This method uses the diffusion model to predict and reconstruct the sequence data, and then detects the abnormal part by comparing with the real data. This paper successfully verifies the feasibility of the diffusion model in the field of anomaly detection. We use the combination of MLP and diffusion model to generate data and compare the generated data with real data to detect anomalous points.

• 한국수자원학회논문집
• /
• 제54권3호
• /
• pp.157-166
• /
• 2021

효율적인 댐 운영을 위해서는 높은 신뢰도를 기반으로 하는 유입량 예측이 요구된다. 본 연구에서는 최근 다양한 분야에서 사용되고 있는 데이터 기반의 예측 방법 중 하나인 딥러닝을 댐 유입량 예측에 활용하였다. 그 중 시계열 자료 예측에 높은 성능을 보이는 Sequence-to-Sequence 구조기반의 Long Short-Term Memory 딥러닝 모형(LSTM-s2s)을 이용하여 소양강 댐의 유입량을 예측하였다. 모형의 예측 성능을 평가하기 위해 상관계수, Nash-Sutcliffe 효율계수, 평균편차비율, 그리고 첨두값 오차를 이용하였다. 그 결과, LSTM-s2s 모형은 댐 유입량 예측에 대한 높은 정확도를 보였으며, 단일 유량 수문곡선 기반의 예측 성능에서도 높은 신뢰도를 보였다. 이를 통해 홍수기와 이수기에 수자원 관리를 위한 효율적인 댐 운영에 딥러닝 모형의 적용 가능성을 확인할 수 있었다.