• ETRI Journal
• /
• v.46 no.1
• /
• pp.137-153
• /
• 2024

This study introduces a new approach in Korean morphological analysis combining dictionary-based techniques with Transformer-based deep learning models. The key innovation is the use of a BERT-based reranking system, significantly enhancing the accuracy of traditional morphological analysis. The method generates multiple suboptimal paths, then employs BERT models for reranking, leveraging their advanced language comprehension. Results show remarkable performance improvements, with the first-stage reranking achieving over 20% improvement in error reduction rate compared with existing models. The second stage, using another BERT variant, further increases this improvement to over 30%. This indicates a significant leap in accuracy, validating the effectiveness of merging dictionary-based analysis with contemporary deep learning. The study suggests future exploration in refined integrations of dictionary and deep learning methods as well as using probabilistic models for enhanced morphological analysis. This hybrid approach sets a new benchmark in the field and offers insights for similar challenges in language processing applications.

• KIPS Transactions on Software and Data Engineering
• /
• v.7 no.4
• /
• pp.121-128
• /
• 2018

A Korean morphological analyzer adopts sequence-to-sequence (seq2seq) model, which can generate an output sequence of different length from an input. In general, a seq2seq based Korean morphological analyzer takes a syllable-unit based sequence as an input, and output a syllable-unit based sequence. Syllable-based morphological analysis has the advantage that unknown words can be easily handled, but has the disadvantages that morpheme-based information is ignored. In this paper, we propose a reranking model as a post-processor of seq2seq model that can improve the accuracy of morphological analysis. The seq2seq based morphological analyzer can generate K results by using a beam-search method. The reranking model exploits morpheme-unit embedding information as well as n-gram of morphemes in order to reorder K results. The experimental results show that the reranking model can improve 1.17% F1 score comparing with the original seq2seq model.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.81-87
• /
• 1998

본 연구에서는 정보검색시스템의 모델로 문서 클러스터를 이용한 재순위화 모델을 제시한다. 이 방법은 검색단계와 분석단계로 이루어지는데, 검색단계에서는 역화일기법을 이용해서 질의어를 포함하는 문서들을 검색하여 질의어-문서 유사도에 따라 순위를 결정한다. 분석단계에서는 이미 구축된 문서 클러스터를 이용해서 검색되어진 문서들의 분석을 통해 질의어-클러스터 유사도를 계산한다. 질의어-문서 유사도와 질의어-클러스터 유사도를 결합하고, 이 유사도에 기반해서 문서들을 재순위화한다. 이때 이용하는 클러스터는 정적 클러스터이고, 질의어에 따라 서로 다른 클러스터를 생성하는 동적인 뷰를 제공한다. 재순위화 모델은 역화일 기법과 클러스터 분석기법이 가지는 장점을 결합하여 질의어 뿐만 아니라 문서에 포함된 모든 단어들을 분석함으로써 문서의 문맥을 고려할 수 있다. 제안하는 모델은 역화일 기법을 이용한 검색 결과에 비해서 우수한 성능 향상을 나타내고 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06b
• /
• pp.276-278
• /
• 2012

모바일 환경에서 정보 검색 시, 사용자가 질의를 구체적으로 입력하는 것이 번거로운 문제점이 있다. 본 논문은 모바일 환경에서의 효율적인 검색 성능 향상을 위해 단일 문서 피드백을 이용한 개념적인 재순위화 방법을 제안한다. 사용자는 질의 의도와 관련있는 문서 하나를 시스템에 피드백한다. 제안한 방법은 피드백된 문서와 앞서 검색된 문서들을 위키피디아의 표제어로 표현되는 개념적인 차원으로 맵핑함으로써 개념적인 수준에서 검색 결과를 재순위화한다. 최근 한국어 뉴스 및 블로그를 대상으로 한 실험 결과 키워드 기반 피드백 방법에 비해 제안한 방법이 높은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.77-81
• /
• 2013

본 논문은 두 가지 주제에 대해 연구한다. 첫 번째는 수학식 검색에 대한 것이다. 웹에는 양질의 수학식 데이터가 마크업 언어 형태로 저장되어 있으며 이를 활용하기 위한 연구들이 활발히 진행되고 있다. 본 연구에서는 MathML (Mathematical Markup Language)로 저장된 수학식 데이터를 일반 질의어를 이용하여 검색한다. 두 번째 주제는 토픽 모델(topic model)로 검색 성능을 향상시키는 방법에 대한 것이다. 먼저 수학식 데이터를 일반 자연어 문장으로 변환한 후 Indri 시스템을 이용하여 검색을 수행하고, 토픽 모델을 이용하여 미리 산출된 스코어를 적용하여 검색 순위를 재랭킹한 결과, MRR 기준 평균 5%의 성능을 향상시킬 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.04a
• /
• pp.471-474
• /
• 2010

질의와 질의 주변에 나오는 어휘는 의미적으로 연관되어있다는 가정하에 질의뿐만 아니라 질의 주변에 나오는 문맥 어휘들도 가중치를 높여준다면 검색에 효율을 높일 수 있을 것이다. 본 논문에서는 질의와 질의 주변에 나오는 문맥 어휘들에게 가중치를 주어 질의 어휘의 위치 가중치를 반영한 문서를 표현하고, 위치 가중치가 반영된 문서 벡터들 사이의 유사도를 계산하여 클러스터 기반 재순위화를 하여 성능을 향상시키는 방법을 제안한다. 뉴스 집합인 TREC AP 문서를 이용하여 언어모델, 위치 가중치를 이용한 언어모델, 클러스터 기반 재순위화 모델의 비교실험을 통해 유효성을 검증한다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.100-104
• /
• 2022

오픈 도메인 질의 응답(Open Domain Question Answering)은 주어진 질문에 대한 단서가 주어지지 않은 환경에서 정답을 도출해 내는 어려운 문제이다. 최근 테이블 데이터와 같은 구조화된 데이터에서의 질의응답 시스템에 대한 중요도가 점차 높아지면서, 본 논문에서는 위키피디아에 등장하는 테이블들을 대상으로 한국어 테이블 오픈 도메인 질의 응답 시스템을 구성하기로 한다. 또한, 테이블 검색의 한계를 보완하기 위해 Joint Reranker 기반 Fusion-In-Decoder를 제안하고 적용하여 질의응답 Task에서 베이스라인에 대비하여 EM 3.36, F1-Score 3.25 향상을 이루어냈다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.442-446
• /
• 2022

자동 음성 인식(Automatic Speech Recognition) 혹은 Speech-to-Text(STT)는 컴퓨터가 사람이 말하는 음성 언어를 텍스트 데이터로 전환하는 일련의 처리나 기술 등을 일컫는다. 음성 인식 기술이 다양한 산업 전반에 걸쳐 적용됨에 따라 높은 수준의 정확도와 더불어 다양한 분야에 적용할 수 있는 음성 인식 기술에 대한 필요성이 점차 증대되고 있다. 다만 한국어 음성 인식의 경우 기존 선행 연구에 비해 예사말/높임말의 구분이나 어미, 조사 등의 인식에 어려움이 있어 음성 인식 결과 후처리를 통한 성능 개선이 중요하다. 따라서 본 논문에서는 N-Best 음성 인식 결과가 구성되었을 때 Re-ranking을 통해 한국어 음성 인식의 성능을 개선하는 모델을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.377-381
• /
• 2023

재순위화기 연구는 주로 파이프라인 과정 설계, 데이터 증강, 학습 함수 개선, 혹은 대규모 언어 모델의 지식 활용 등에 집중되어있다. 이러한 연구들은 좋은 성능 상승을 이끌어주었지만 실제 적용이 힘들 뿐만 아니라 학습 비용이 크게 발생한다는 한계점을 가지고 있다. 더 나아가 주어진 데이터 집합만을 활용해서는 보다 더 세부적인 학습 신호를 주기 어렵다는 단점 또한 존재한다. 최근 자연어처리 분야의 연구에서는 피드백을 인위적으로 생성하여 반영하여 모델 성능 상승을 이끄는 연구가 제안되었다. 본 연구는, 이러한 연구를 바탕으로 질의와 문서 간의 함의 관계 점수를 피드백으로 사용 및 재순위화기 모델로의 반영을 제안한다. 재순위화기 모델에 대해 피드백을 반영하는것은 그렇지 않은 모델 대비하여 성능 상승을 이끌며 피드백 반영이 더 좋은 표상 도출에 도움이 됨을 확인할 수 있다.

• Journal of Korean Library and Information Science Society
• /
• v.40 no.3
• /
• pp.367-387
• /
• 2009

The similar bibliographic retrieval system follows whether it selects a thing of the extracted index term and or not the difference in which the similar document retrieval system There be many in the search result is generated. In this research, the method minimally making the error of the selection of the extracted candidate index term is provided In this research, the word information in which it is adjacent by using candidate index terms extracted from the similar literature and the keyword topic information were used. And by using the related author information and the reranking method of the search result, the similar bibliographic system in which an accuracy is high was developed. In this paper, we conducted experiments for similar bibliographic retrieval system on a collection of Korean journal articles of science and technology arena. The performance of similar bibliographic retrieval system was proved through an experiment and user evaluation.