• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.263-267
• /
• 2016

채팅 시스템은 사람이 사용하는 언어로 컴퓨터와 의사소통을 하는 시스템이다. 최근 딥 러닝이 큰 화두가 되면서 다양한 채팅 시스템에 관한 연구가 빠르게 진행 되고 있다. 본 논문에서는 문장을 Recurrent Neural Network기반 의사형태소 분석기로 분리하고 Attention mechanism Encoder-Decoder Model의 입력으로 사용하는 채팅 시스템을 제안한다. 채팅 데이터를 통한 실험에서 사용자 문장이 짧은 경우는 답변이 잘 나오는 것을 확인하였으나 긴 문장에 대해서는 문법에 맞지 않는 문장이 생성되는 것을 알 수 있었다.

• 품질경영학회지
• /
• 제49권4호
• /
• pp.569-579
• /
• 2021

Purpose: The purpose of this study is the time series analysis for predicting the yield of crops applicable to each farm using environmental variables measured by smart farms cultivating tomato. In addition, it is intended to confirm the influence of environmental variables using a deep learning model that can be explained to some extent. Methods: A time series analysis was performed to predict production using environmental variables measured at 75 smart farms cultivating tomato in two periods. An LSTM-based encoder-decoder model was used for cases of several farms with similar length. In particular, Dual Attention Mechanism was applied to use environmental variables as exogenous variables and to confirm their influence. Results: As a result of the analysis, Dual Attention LSTM with a window size of 12 weeks showed the best predictive power. It was verified that the environmental variables has a similar effect on prediction through wieghtss extracted from the prediction model, and it was also verified that the previous time point has a greater effect than the time point close to the prediction point. Conclusion: It is expected that it will be possible to attempt various crops as a model that can be explained by supplementing the shortcomings of general deep learning model.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권1호
• /
• pp.1-14
• /
• 2024

Time-series forecasting is extensively used in the actual world. Recent research has shown that Transformers with a self-attention mechanism at their core exhibit better performance when dealing with such problems. However, most of the existing Transformer models used for time series prediction use the traditional encoder-decoder architecture, which is complex and leads to low model processing efficiency, thus limiting the ability to mine deep time dependencies by increasing model depth. Secondly, the secondary computational complexity of the self-attention mechanism also increases computational overhead and reduces processing efficiency. To address these issues, the paper designs an efficient multi-layer attention-based time-series forecasting model. This model has the following characteristics: (i) It abandons the traditional encoder-decoder based Transformer architecture and constructs a time series prediction model based on multi-layer attention mechanism, improving the model's ability to mine deep time dependencies. (ii) A cross attention module based on cross attention mechanism was designed to enhance information exchange between historical and predictive sequences. (iii) Applying a recently proposed sparse attention mechanism to our model reduces computational overhead and improves processing efficiency. Experiments on multiple datasets have shown that our model can significantly increase the performance of current advanced Transformer methods in time series forecasting, including LogTrans, Reformer, and Informer.

• 스마트미디어저널
• /
• 제13권3호
• /
• pp.53-61
• /
• 2024

본 논문은 기존 방법보다 우수한 성능을 달성하는 피부 병변 분할을 위한 새로운 M자 모양 인코더-디코더 아키텍처를 제안한다. 제안된 아키텍처는 왼쪽과 오른쪽 다리를 활용하여 다중 스케일 특징 추출을 가능하게 하고, 스킵 연결 내에서 어텐션 메커니즘을 통합하여 피부 병변 분할 성능을 더욱 향상시킨다. 입력 영상은 네 가지 다른 패치로 분할되어 입력되며 인코더-디코더 프레임워크 내에서 피부 병변 분할 성능의 향상된 처리를 가능하게 한다. 제안하는 방법에서 어텐션 메커니즘을 통해 입력 영상의 특징에 더 많은 초점을 맞추어 더욱 정교한 영상 분할 결과를 도출하는 것이다. 실험 결과는 제안된 방법의 효과를 강조하며, 기존 방법과 비교하여 우수한 정확도, 정밀도 및 Jaccard 지수를 보여준다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.263-267
• /
• 2016

채팅 시스템은 사람이 사용하는 언어로 컴퓨터와 의사소통을 하는 시스템이다. 최근 딥 러닝이 큰 화두가 되면서 다양한 채팅 시스템에 관한 연구가 빠르게 진행 되고 있다. 본 논문에서는 문장을 Recurrent Neural Network기반 의사형태소 분석기로 분리하고 Attention mechanism Encoder-Decoder Model의 입력으로 사용하는 채팅 시스템을 제안한다. 채팅 데이터를 통한 실험에서 사용자 문장이 짧은 경우는 답변이 잘 나오는 것을 확인하였으나 긴 문장에 대해서는 문법에 맞지 않는 문장이 생성되는 것을 알 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권10호
• /
• pp.3685-3707
• /
• 2021

In recent years, facial attribute editing has been successfully used to effectively change face images of various attributes based on generative adversarial networks and encoder-decoder models. However, existing models have a limitation in that they may change an unintended part in the process of changing an attribute or may generate an unnatural result. In this paper, we propose a model that improves the learning of the attention mask by adding a spatial attention mechanism based on the unified selective transfer network (referred to as STGAN) using semi-supervised learning. The proposed model can edit multiple attributes while preserving details independent of the attributes being edited. This study makes two main contributions to the literature. First, we propose an encoder-decoder model structure that learns and edits multiple facial attributes and suppresses distortion using an attention mask. Second, we define guide masks and propose a method and an objective function that use the guide masks for multiple facial attribute editing through semi-supervised learning. Through qualitative and quantitative evaluations of the experimental results, the proposed method was proven to yield improved results that preserve the image details by suppressing unintended changes than existing methods.

• 한국융합학회논문지
• /
• 제12권10호
• /
• pp.55-61
• /
• 2021

본 논문에서는 정밀한 semantic segmentation을 위해 강조 기법을 활용한 DeepLabv3+ 기반의 인코더-디코더 모델을 제안하였다. DeepLabv3+는 딥러닝 기반 semantic segmentation 방법이며 자율주행 자동차, 적외선 이미지 분석 등의 응용 분야에서 주로 사용된다. 기존 DeepLabv3+는 디코더 부분에서 인코더의 중간 특징맵 활용이 적어 복원 과정에서 손실이 발생한다. 이러한 복원 손실은 분할 정확도를 감소시키는 문제를 초래한다. 따라서 제안하는 방법은 하나의 중간 특징맵을 추가로 활용하여 복원 손실을 최소화하였다. 또한, 추가 중간 특징맵을 효과적으로 활용하기 위해 작은 크기의 특징맵부터 계층적으로 융합하였다. 마지막으로, 디코더에 강조 기법을 적용하여 디코더의 중간 특징맵 융합 능력을 극대화하였다. 본 논문은 거리 영상 분할연구에 공통으로 사용되는 Cityscapes 데이터셋에서 제안하는 방법을 평가하였다. 실험 결과는 제안하는 방법이 기존 DeepLabv3+와 비교하여 향상된 분할 결과를 보였다. 이를 통해 제안하는 방법은 높은 정확도가 필요한 응용 분야에서 활용될 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제25권5호
• /
• pp.37-46
• /
• 2020

최근 얼굴 속성 편집(facial attribute editing)의 연구는 GAN(Generative Adversarial Net)과 인코더-디코더(encoder-decoder) 구조를 활용하여 사실적인 결과를 얻고 있다. 최신 연구 중 하나인 SaGAN(Spatial attention GAN)은 공간적 주의 기제(spatial attention mechanism)를 활용하여 얼굴 영상에서 원하는 속성만을 변경할 방법을 제안하였다. 그러나 불충분한 얼굴 영역 정보로 인하여 때로 부자연스러운 결과를 얻는 경우가 발생한다. 본 논문에서는 기존 연구의 한계점을 개선하기 위하여 유도 마스크(guide mask)를 학습에 활용하고, 다중작업 학습(multitask learning) 접근을 적용한 개선된 SaGAN(MSaGAN)을 제안한다. 폭넓은 실험을 통해 마스크 손실 함수와 신경망 구조에 따른 얼굴 속성 편집의 결과를 비교하여 제안하는 방법이 기존보다 더 자연스러운 결과를 효율적으로 얻을 수 있음을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.721-723
• /
• 2020

부분 공간 군집화는 고차원 데이터에서 의미 있는 특징들을 선별 및 추출하여 저차원의 부분 공간에서 군집화 하는 것이다. 그러나 최근 딥러닝 활용한 부분 공간 군집화 연구들은 AutoEncoder을 기반으로 의미있는 특징을 선별하는 것이 아닌 특징 맵의 크기를 증가시켜서 네트워크의 표현 능력에 중점을 둔 연구되고 있다. 본 논문에서는 AutoEncdoer 네트워크에 Channel Attention 모델을 활용하여 Encoder와 Decoder에서 부분 공간 군집화를 위한 특징을 강조하는 네트워크를 제안한다. 본 논문에서 제안하는 네트워크는 고차원의 이미지에서 부분 공간 군집화를 위해 강조된 특징 맵을 추출하고 이를 이용해서 보다 향상된 성능을 보여주었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권12호
• /
• pp.4275-4291
• /
• 2021

With the unprecedented growth of textual information on the Internet, an efficient automatic summarization system has become an urgent need. Recently, the neural network models based on the encoder-decoder with an attention mechanism have demonstrated powerful capabilities in the sentence summarization task. However, for paragraphs or longer document summarization, these models fail to mine the core information in the input text, which leads to information loss and repetitions. In this paper, we propose an abstractive document summarization method by applying guidance signals of key sentences to the encoder based on the hierarchical encoder-decoder architecture, denoted as KI-HABS. Specifically, we first train an extractor to extract key sentences in the input document by the hierarchical bidirectional GRU. Then, we encode the key sentences to the key information representation in the sentence level. Finally, we adopt key information representation guided selective encoding strategies to filter source information, which establishes a connection between the key sentences and the document. We use the CNN/Daily Mail and Gigaword datasets to evaluate our model. The experimental results demonstrate that our method generates more informative and concise summaries, achieving better performance than the competitive models.