• 제목/요약/키워드: Word-Sense-Disambiguation

검색결과 104건 처리시간 0.034초

Word Sense Disambiguation Using Embedded Word Space

  • Kang, Myung Yun;Kim, Bogyum;Lee, Jae Sung
    • Journal of Computing Science and Engineering
    • /
    • 제11권1호
    • /
    • pp.32-38
    • /
    • 2017
  • Determining the correct word sense among ambiguous senses is essential for semantic analysis. One of the models for word sense disambiguation is the word space model which is very simple in the structure and effective. However, when the context word vectors in the word space model are merged into sense vectors in a sense inventory, they become typically very large but still suffer from the lexical scarcity. In this paper, we propose a word sense disambiguation method using word embedding that makes the sense inventory vectors compact and efficient due to its additive compositionality. Results of experiments with a Korean sense-tagged corpus show that our method is very effective.

`단어-의미 의미-단어` 관계에 기반한 번역어 선택 (Translation Disambiguation Based on 'Word-to-Sense and Sense-to-Word' Relationship)

  • 이현아
    • 정보처리학회논문지B
    • /
    • 제13B권1호
    • /
    • pp.71-76
    • /
    • 2006
  • 기계번역에서 올바른 번역 문장을 구성하기 위해서는 원시 문장의 의미를 올바르게 표현하면서 자연스러운 목적 문장을 구성하는 번역어를 선택해야 한다. 본 논문에서는 '단어-의미 의미-단어' 관계, 즉 원시언어의 한 단어는 하나 이상의 의미를 가지고 각 의미는 각기 다른 목적언어 단어로 표현된다는 점에 기반하여, 원시 단어의 의미 분별과 목적 단어 선택을 결합하여 번역어를 선택하는 방식을 제안한다. 기존의 번역방식은 원시 단어에 대한 목적단어를 직접 선택하는 '단어-단어' 관계에 기반하고 있기 때문에, 원시언어를 목적 언어로 직접 대응시키기 위한 지식을 필요로 하여 지식 획득에 어려움이 있었다. 본 논문의 방식에서는 원시 단어의 의미 분별과 목적 언어의 단어 선택의 결합을 통해 번역어를 선택함으로써, 손쉽게 획득할 수 있는 원시 언어와 목적 언어 각각의 지식원에서 번역어 선택을 위한 지식을 자동으로 추출할 수 있다. 또한 원시 언어의 의미와 목적 언어의 쓰임새를 모두 반영하여 충실도와 이해도를 모두 만족시키는 보다 정확한 번역어를 선택할 수 있다.

Comparison Thai Word Sense Disambiguation Method

  • Modhiran, Teerapong;Kruatrachue, Boontee;Supnithi, Thepchai
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.1307-1312
    • /
    • 2004
  • Word sense disambiguation is one of the most important problems in natural language processing research topics such as information retrieval and machine translation. Many approaches can be employed to resolve word ambiguity with a reasonable degree of accuracy. These strategies are: knowledge-based, corpus-based, and hybrid-based. This paper pays attention to the corpus-based strategy. The purpose of this paper is to compare three famous machine learning techniques, Snow, SVM and Naive Bayes in Word-Sense Disambiguation on Thai language. 10 ambiguous words are selected to test with word and POS features. The results show that SVM algorithm gives the best results in solving of Thai WSD and the accuracy rate is approximately 83-96%.

  • PDF

한국어 단어 공간 모델을 이용한 단어 의미 중의성 해소 (Word Sense Disambiguation using Korean Word Space Model)

  • 박용민;이재성
    • 한국콘텐츠학회논문지
    • /
    • 제12권6호
    • /
    • pp.41-47
    • /
    • 2012
  • 한국어 단어의 의미 중의성 해소 방법들은 주로 소규모의 의미 태그 부착 말뭉치나 사전 정보 등을 이용하여 엔트로피 정보, 조건부 확률, 상호정보 등을 각각 계산하고 이를 중의성 해소에 이용하는 방법 등으로 다양하게 제안되었다. 본 논문에서는 대규모로 구축된 의미 태그 부착 말뭉치를 이용하여 한국어 단어 벡터를 추출하고 이 벡터들 사이의 유사도를 계산하여 단어 의미 중의성을 해소하는 단어 공간 모델 방법을 제안한다. 세종 형태의미분석 말뭉치를 사용하여 학습하고 임의의 200문장(583 단어 종류)에 대해 평가한 결과, 정확도가 94%로 기존의 방법에 비해 매우 우수했다.

가변 크기 문맥과 거리가중치를 이용한 동형이의어 중의성 해소 (Word sense disambiguation using dynamic sized context and distance weighting)

  • 이현아
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제38권4호
    • /
    • pp.444-450
    • /
    • 2014
  • 의미 중의성 해소를 위한 대부분의 기존 연구에서는 문장의 특성에 상관없이 고정적인 크기의 문맥을 사용해 왔다. 본 논문에서는 중의성 해소에서 문장에 따라 가변적인 크기의 문맥을 사용하는 가변길이 윈도우와 단어간 거리를 사용한 의미분석 방법을 제안한다. 세종코퍼스의 형태의미분석 말뭉치로 학습하여 12단어 32,735문장에 대해 실험한 결과에서 제안된 방법이 용언에 대하여 92.2%의 평균 정확도를 보여 고정 크기의 문맥을 사용한 경우에 비해 향상된 결과를 보였다.

세종 전자사전과 한국어 어휘의미망을 이용한 용언의 어의 중의성 해소 (Word Sense Disambiguation of Predicate using Sejong Electronic Dictionary and KorLex)

  • 강상욱;김민호;권혁철;전성규;오주현
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권7호
    • /
    • pp.500-505
    • /
    • 2015
  • 21세기 세종계획을 통하여 개발된 세종 전자사전은 한국어 어휘의 내재정보에 대한 체계적인 분석 정보를 담고 있다. 이는 일반적으로 사용하는 텍스트 사전이 가지는 전산적 표상 문제를 해결하는데 많은 도움을 주고 있다. 자연언어처리 분야에서 끊이지 않는 문제인 어의 중의성 해소(Word Sense Disambiguation) 문제 또한 세종 전자사전의 상세 정보를 이용하여 해결할 수 있지만, 실제 제시된 문형과 논항의 선택제약 명사로는 어의 중의성 해소 문제를 해결하는 데 한계를 보인다. 본 연구에서는 세종 전자사전의 용언 하위범주화 정보를 이용한 어의 중의성 해소의 한계점을 보이고, 한국어 어휘의미망(Korean Lexico-semantic network)을 이용하여 논항의 선택제약 정보를 일반화한다.

종속격 정보를 적용한 동사 의미 중의성 해소 (Verb Sense Disambiguation using Subordinating Case Information)

  • 박요셉;신준철;옥철영;박혁로
    • 정보처리학회논문지B
    • /
    • 제18B권4호
    • /
    • pp.241-248
    • /
    • 2011
  • 동형이의어는 여러 가지 의미를 가진 단어를 의미한다. 문장의 의미를 이해하기 위해서는 필수적으로 문장에 포함된 동형이의어의 의미를 결정해야 한다. 기존의 단어 의미 중의성 연구들은 공기 빈도를 기반으로 해결하였다. 하지만, 동사의 경우에는 정확도 향상을 위해서 격 정보가 중요하다. 왜냐하면, 동사 동형이의어의 의미는 행위의 주체나 객체에 따라 결정되어서 종속격(목적격, 부사격, 보격) 정보가 필요하며, 동사동형이의어 의미마다 서로 다른 격 정보가 필요하기 때문이다. 본 논문에서는 한국어 격 정보를 적용한 동사 의미 중의성 해소를 제안한다. 격정보는 표준국어대사전에 명시된 조사 정보를 이용하였다. 실험은 고빈도 동형이의어 12개를 대상으로 하였으며, 실험결과 정확도가 기존의 97.3%에서 98.7%로 1.34% 향상되었다. 이는 원래의 오류율을 2.7%에서 1.3%으로 절반정도 줄였다.

Word2Vec을 이용한 반복적 접근 방식의 그래프 기반 단어 중의성 해소 (An Iterative Approach to Graph-based Word Sense Disambiguation Using Word2Vec)

  • 오동석;강상우;서정연
    • 인지과학
    • /
    • 제27권1호
    • /
    • pp.43-60
    • /
    • 2016
  • 지식기반을 이용한 비지도 방법의 단어 중의성 해소 연구는 그래프 기반 단어 중의성 해소 방법에 중점을 두고 있다. 그래프 기반 방법은 중의성 단어와 문맥이나 문장에서 같이 등장한 단어들과 의미그래프를 구축하여 연결 관계를 보고 중의성을 해소한다. 하지만, 모든 중의성 단어를 가지고 의미 그래프를 구축하게 되면 불필요한 간선과 노드 정보가 추가되어 오류를 증가시킨다는 단점이 있다. 본 연구에서는 이러한 문제를 해결하고자 반복적 접근 방식의 그래프 기반 단어 중의성 해소 방식을 사용한다. 이 방식은 모든 중의성 단어들을 특정 기준에 의해서 단어를 매칭 하고 매칭 된 단어들을 반복적으로 그래프를 재구축하여 단어중의성을 해소한다. 본 연구에서는 Word2Vec을 이용하여 문맥이나 문장 내에 중의성 단어와 의미적으로 가장 유사한 단어끼리 매칭하고, 매칭 된 단어들을 순서대로 그래프를 재구축하여 중의성 단어의 의미를 결정하였다. 결과적으로 Word2Vec의 단어 벡터정보를 이용하여 이전에 연구 되었던 그래프 기반 방법과 반복적 접근 방식의 그래프 기반 방법보다 더 높은 성능을 보여준다.

  • PDF

단어 중의성 해소를 위한 지도학습 방법의 통계적 자질선정에 관한 연구 (A Study on Statistical Feature Selection with Supervised Learning for Word Sense Disambiguation)

  • 이용구
    • 한국비블리아학회지
    • /
    • 제22권2호
    • /
    • pp.5-25
    • /
    • 2011
  • 이 연구는 지도학습 방법을 이용한 단어 중의성 해소가 최적의 성능을 가져오는 통계적 자질선정 방법과 다양한 문맥의 크기를 파악하고자 하였다. 실험집단인 한글 신문기사에 자질선정 기준으로 정보획득량, 카이제곱 통계량, 문헌빈도, 적합성 함수 등을 적용하였다. 실험 결과, 텍스트 범주화 기법과 같이 단어 중의성 해소에서도 자질선정 방법이 매우 유용한 수단이 됨을 알 수 있었다. 실험에 적용한 자질선중 기준 중에 정보획득량이 가장 좋은 성능을 보였다. SVM 분류기는 자질집합 크기와 문맥 크기가 클수록 더 좋은 성능을 보여 자질선정에 영향을 받지 않았다. 나이브 베이즈 분류기는 10% 정도의 자질집합 크기에서 가장 좋은 성능을 보였다. kNN의 경우 10% 이하의 자질에서 가장 좋은 성능을 보였다. 단어 중의성 해소를 위한 자질선정을 적용할 때 작은 자질집합 크기와 큰 문맥 크기를 조합하거나, 반대로 큰 자질집합 크기와 작은 문맥 크기를 조합하면 성능을 극대화 할 수 있다.

의미그룹을 이용한 단어 중의성 해소 (Word Sense Disambiguation using Meaning Groups)

  • 김은진;이수원
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권6호
    • /
    • pp.747-751
    • /
    • 2010
  • 본 연구에서는 기계 가독형 사전 정보를 이용하여 중의어 의미 태깅을 위한 학습에 사용될 양질의 의미부착 데이터를 자동 생성하여 중의어 태깅 정확도를 향상시키는 방법을 제안한다. 또한 중의어의 의미별로 특징있는 주변 단어를 원소로 갖는 의미그룹을 생성하고, 의미그룹내 중요 자질의 가중치 선정에 집중도 개념을 도입하여 태깅 정확도를 높인다. SENSEVAL-2 데이터를 사용하여 태깅 정확도를 평가한 결과 본 연구에서 제안한 방법이 기존의 방법보다 정확도를 향상시킨 것으로 나타났다.