• 제목/요약/키워드: LSTM

검색결과 1,066건 처리시간 0.027초

LSTM과 Bi-LSTM을 사용한 비주기성 시계열 데이터 예측 성능 비교 분석 (Comparative Analysis of Prediction Performance of Aperiodic Time Series Data using LSTM and Bi-LSTM)

  • 이주형;홍준기
    • 한국빅데이터학회지
    • /
    • 제7권2호
    • /
    • pp.217-224
    • /
    • 2022
  • 온라인 쇼핑의 대중화로 인해 많은 의류 상품이 온라인 쇼핑을 통해 소비된다. 의류 상품은 다른 상품과 달리 판매량이 일정하지 않고 날씨의 변화에 따라 판매량이 변화하는 특징이 있다. 따라서 의류 상품의 머신 러닝을 적용한 효율적인 재고 관리 시스템에 대한 연구는 매우 중요하다. 본 논문에서는 의류 업체 'A'로부터 실제 의류 상품 판매량 데이터를 수집하고 판매량 데이터와 같은 시계열 데이터의 예측에 많이 활용되는 LSTM(Long Short-Term Memory)과 Bidirectional-LSTM(Bi-LSTM)의 학습에 사용하여 LSTM과 Bi-LSTM의 판매량 예측 효율을 비교 분석하였다. 시뮬레이션 결과를 통해 LSTM 기술 대비 Bi-LSTM은 시뮬레이션 시간은 더 많이 소요되지만 의류 상품 판매량 데이터와 같은 비주기성 시계열 데이터의 예측 정확도가 동일하다는 것을 확인하였다.

Bidirectional LSTM-CRF 모델을 이용한 멘션탐지 (Mention Detection using Bidirectional LSTM-CRF Model)

  • 박천음;이창기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.224-227
    • /
    • 2015
  • 상호참조해결은 특정 개체에 대해 다르게 표현한 단어들을 서로 연관지어 주며, 이러한 개체에 대해 표현한 단어들을 멘션(mention)이라 하며, 이런 멘션을 찾아내는 것을 멘션탐지(mention detection)라 한다. 멘션은 명사나 명사구를 기반으로 정의되며, 명사구의 경우에는 수식어를 포함하기 때문에 멘션탐지를 순차 데이터 문제(sequence labeling problem)로 정의할 수 있다. 순차 데이터 문제에는 Recurrent Neural Network(RNN) 종류의 모델을 적용할 수 있으며, 모델들은 Long Short-Term Memory(LSTM) RNN, LSTM Recurrent CRF(LSTM-CRF), Bidirectional LSTM-CRF(Bi-LSTM-CRF) 등이 있다. LSTM-RNN은 기존 RNN의 그레디언트 소멸 문제(vanishing gradient problem)를 해결하였으며, LSTM-CRF는 출력 결과에 의존성을 부여하여 순차 데이터 문제에 더욱 최적화 하였다. Bi-LSTM-CRF는 과거입력자질과 미래입력자질을 함께 학습하는 방법으로 최근에 가장 좋은 성능을 보이고 있다. 이에 따라, 본 논문에서는 멘션탐지에 Bi-LSTM-CRF를 적용할 것을 제안하며, 각 딥 러닝 모델들에 대한 비교실험을 보인다.

  • PDF

Attention 기법을 적용한 LSTM-s2s 모델 기반 댐유입량 예측 연구 (Prediction of dam inflow based on LSTM-s2s model using luong attention)

  • 이종혁;최수연;김연주
    • 한국수자원학회논문집
    • /
    • 제55권7호
    • /
    • pp.495-504
    • /
    • 2022
  • 최근 인공지능의 발전으로 시계열 자료 분석에 효과적인 Long Short-Term Memory (LSTM) 모델이 댐유입량 예측의 정확도를 높이는 데 활용되고 있다. 본 연구에서는 그 중 LSTM의 성능을 더욱 향상할 수 있는 Sequence-to-Sequence (s2s) 구조에 Attention 기법을 LSTM 모델에 첨가하여 소양강댐 유역의 유입량을 예측하였다. 분석 데이터는 2013년부터 2020년까지의 유입량 시자료와 종관기상관측기온 및 강수량 자료를 학습, 검증, 평가로 나누어 훈련한 후, 모델의 성능 평가를 진행하였다. 분석 결과, LSTM-s2s 모델보다 attention까지 첨가한 모델이 일반적으로 더 좋은 성능을 보였으며, attention 첨가 모델이 첨두값도 더 잘 예측하는 모습을 보였다. 그리고 두 모델 모두 첨두값 발생 동안 유량 패턴을 잘 반영하였지만 세밀한 시간 단위 변화량에는 어려움이 있었다. 이를 통해 시간 단위 예측의 어려움에도 불구하고, LSTM-s2s에 attention까지 첨가한 모델이 기존 LSTM-s2s의 예측 성능을 향상할 수 있음을 알 수 있었다.

RGBD 카메라 기반의 Human-Skeleton Keypoints와 2-Stacked Bi-LSTM 모델을 이용한 낙상 탐지 (Fall Detection Based on 2-Stacked Bi-LSTM and Human-Skeleton Keypoints of RGBD Camera)

  • 신병근;김응호;이상우;양재영;김원겸
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권11호
    • /
    • pp.491-500
    • /
    • 2021
  • 본 연구에서는 MS Kinect v2 RGBD 카메라 기반의 Human-Skeleton Keypoints와 2-Stacked Bi-LSTM 모델을 이용하여 낙상 행위를 탐지하는 방법을 제안한다. 기존의 연구는 RGB 영상에서 OpenPose 등의 딥러닝 모델을 이용하여 골격 정보를 추출한 후 LSTM, GRU 등의 순환신경망 모델을 이용해 인식을 수행하였다. 제안한 방법은 카메라로부터 골격정보를 바로 전달 받아 가속도 및 거리의 2개의 시계열 특징을 추출한 후 2-Stacked Bi-LSTM 모델을 이용하여 낙상 행위를 인식하였다. 어깨, 척추, 골반 등 주요 골격을 대상으로 중심관절을 구하고 이 중심관절의 움직임 가속도와 바닥과의 거리를 특징으로 제안하였다. 추출된 특징은 Stacked LSTM, Bi-LSTM 등의 모델과 성능비교를 수행하였고 GRU, LSTM 등의 기존연구에 비해 향상된 검출 성능을 실험을 통해 증명하였다.

LSTM - MLP 인공신경망 앙상블을 이용한 장기 강우유출모의 (Long-term runoff simulation using rainfall LSTM-MLP artificial neural network ensemble)

  • 안성욱;강동호;성장현;김병식
    • 한국수자원학회논문집
    • /
    • 제57권2호
    • /
    • pp.127-137
    • /
    • 2024
  • 수자원 관리를 위해 주로 사용되는 물리 모형은 입력자료의 구축과 구동이 어렵고 사용자의 주관적 견해가 개입될 수 있다. 최근 수자원 분야에서 이러한 문제점을 보완하기 위해 기계학습과 같은 자료기반 모델을 이용한 연구가 활발히 진행되고 있다. 본 연구에서는 관측자료만을 이용하여 강원도 삼척시 오십천 유역의 장기강우유출모의를 수행했다. 이를 위해 기상자료로 3개의 입력자료군(기상관측요소, 일 강수량 및 잠재증발산량, 일강수량 - 잠재증발산량)을 구성하고 LSTM (Long Short-term Memory)인공신경망 모델에 각각 학습시킨 결과를 비교 및 분석했다. 그 결과 기상관측요소만을 이용한 LSTM-Model 1의 성능이 가장 높았으며, 여기에 MLP 인공신경망을 더한 6개의 LSTM-MLP 앙상블 모델을 구축하여 오십천 유역의 장기유출을 모의했다. LSTM 모델과 LSTM-MLP 모형을 비교한 결과 두 모델 모두 대체적으로 비슷한 결과를 보였지만 LSTM 모델에 비해 LSTM-MLP의 MAE, MSE, RMSE가 감소했고 특히 저유량 부분이 개선되었다. LSTM-MLP의 결과에서 저유량 부분의 개선을 보임에 따라 향후 LSTM-MLP 모델 이외에 CNN등 다양한 앙상블 모형을 이용해 물리적 모델 구축 및 구동 시간이 오래 걸리는 대유역과 입력 자료가 부족한 미계측 유역의 유황곡선 작성 등에 활용성이 높을 것으로 판단된다.

LSTM 기법을 적용한 UTD 데이터 행동 분류 (Classification of Behavior of UTD Data using LSTM Technique)

  • 정겨운;안지민;신동인;원건;박종범
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 추계학술대회
    • /
    • pp.477-479
    • /
    • 2018
  • 본 연구는 인공신경망의 한 종류인 LSTM(Long Short-Term Memory) 기법을 활용하기 위하여 진행하였다. UTD(University of Texas at Dallas)가 공개한 27종 동작 데이터 중 3축 가속도 및 각속도 데이터를 기본 LSTM 및 Deep Residual Bidir-LSTM 기법에 적용하여 행동을 분류해 보았다.

  • PDF

LSTM 순환 신경망을 이용한 초음파 도플러 신호의 음성 패러미터 추정 (Estimating speech parameters for ultrasonic Doppler signal using LSTM recurrent neural networks)

  • 주형길;이기승
    • 한국음향학회지
    • /
    • 제38권4호
    • /
    • pp.433-441
    • /
    • 2019
  • 본 논문에서는 입 주변에 방사한 초음파 신호가 반사되어 돌아올 때 발생하는 초음파 도플러 신호를 LSTM(Long Short Term Memory) 순환 신경망 (Recurrent Neural Networks, RNN)을 이용해 음성 패러미터를 추정하는 방법을 소개하고 다층 퍼셉트론 (Multi-Layer Perceptrons, MLP) 신경망을 이용한 방법과 성능 비교를 하였다. 본 논문에서는 LSTM 순환 신경망을 이용해 초음파 도플러 신호로부터 음성 신호의 푸리에 변환 계수를 추정하였다. LSTM 순환 신경망을 학습하기 위한 입력 및 기준값으로 초음파 도플러 신호와 음성 신호로부터 각각 추출된 멜 주파수 대역별 에너지 로그값과 푸리에 변환 계수가 사용되었다. 테스트 데이터를 이용한 실험을 통해 LSTM 순환 신경망과 MLP의 성능을 평가, 비교하였고 척도로는 평균 제곱근 오차(Root Mean Squared Error, RMSE)가 사용되었다.각 실험의 RMSE는 각각 0.5810, 0.7380로 나타났다. 약 0.1570 차이로 LSTM 순환 신경망을 이용한 방법의 성능 우세한 것으로 확인되었다.

딥러닝 LSTM 모형을 이용한 CMIP5 기반 하천유량 예측 및 최적 학습기간 산정 (Estimation of CMIP5 based streamflow forecast and optimal training period using the Deep-Learning LSTM model)

  • 천범석;이태화;김상우;임경재;정영훈;도종원;신용철
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.353-353
    • /
    • 2022
  • 본 연구에서는 CMIP5(The fifth phase of the Couple Model Intercomparison Project) 미래기후시나리오와 LSTM(Long Short-Term Memory) 모형 기반의 딥러닝 기법을 이용하여 하천유량 예측을 위한 최적 학습 기간을 제시하였다. 연구지역으로는 진안군(성산리) 지점을 선정하였다. 보정(2000~2002/2014~2015) 및 검증(2003~2005/2016~2017) 기간을 설정하여 연구지역의 실측 유량 자료와 LSTM 기반 모의유량을 비교한 결과, 전체적으로 모의값이 실측값을 잘 반영하는 것으로 나타났다. 또한, LSTM 모형의 장기간 예측 성능을 평가하기 위하여 LSTM 모형 기반 유량을 보정(2000~2015) 및 검증(2016~2019) 기간의 SWAT 기반 유량에 비교하였다. 비록 모의결과에일부 오차가 발생하였으나, LSTM 모형이 장기간의 하천유량을 잘 산정하는 것으로 나타났다. 검증 결과를 기반으로 2011년~2100년의 CMIP5 미래기후시나리오 기상자료를 이용하여 SWAT 기반 유량을 모의하였으며, 모의한 하천유량을 LSTM 모형의 학습자료로 사용하였다. 다양한 학습 시나리오을 적용하여 LSTM 및 SWAT 모형 기반의 하천유량을 모의하였으며, 최적 학습 기간을 제시하기 위하여 학습 시나리오별 LSTM/SWAT 기반 하천유량의 상관성 및 불확실성을 비교하였다. 비교 결과 학습 기간이 최소 30년 이상일때, 실측유량과 비교하여 LSTM 모형 기반 하천유량의 불확실성이 낮은 것으로 나타났다. 따라서 CMIP5 미래기후시나리오와 딥러닝 기반 LSTM 모형을 연계하여 미래 장기간의 일별 유량을 모의할 경우, 신뢰성 있는 LSTM 모형 기반 하천유량을 모의하기 위해서는 최소 30년 이상의 학습 기간이 필요할 것으로 판단된다.

  • PDF

한국 전통문화 말뭉치구축 및 Bi-LSTM-CNN-CRF를 활용한 전통문화 개체명 인식 모델 개발 (Constructing for Korean Traditional culture Corpus and Development of Named Entity Recognition Model using Bi-LSTM-CNN-CRFs)

  • 김경민;김규경;조재춘;임희석
    • 한국융합학회논문지
    • /
    • 제9권12호
    • /
    • pp.47-52
    • /
    • 2018
  • 개체명 인식(Named Entity Recognition)시스템은 문서로부터 고유한 의미를 가질 수 있는 인명(PS), 지명(LC), 기관명(OG) 등의 개체명을 추출하고 추출된 개체명의 범주를 결정하는 시스템이다. 최근 딥러닝 방식을 이용한 개체명 인식 연구에서 입력 데이터의 앞, 뒤 방향을 고려한 LSTM 기반의 Bi-LSTM 모델로부터 출력 데이터 간의 전이 확률을 이용한 CRF를 결합한 방식의 Bi-LSTM-CRF가 우수한 성능을 보이고, 문자 및 단어 단위의 효율적인 임베딩 벡터생성에 관한 연구와 CNN, LSTM을 활용한 모델에서도 좋은 성능을 보여주고 있다. 본 연구에서는 한국어 개체명 인식시스템 성능 향상을 위해 자질을 보강한 Bi-LSTM-CNN-CRF 모델에 관해 기술하고 전통문화 말뭉치구축 방식에 대해 제안한다. 그리고 구축한 말뭉치를 한국어 개체명 인식 성능 향상을 위한 자질 보강 모델 Bi-LSTM-CNN-CRF로 학습한 결과에 대해 제안한다.

LSTM-Attention을 이용한 보폭 추정 (Stride Length Estimation Using LSTM-Attention)

  • 태민우;강경훈;최상일
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.331-332
    • /
    • 2022
  • 본 논문에서는 3축 가속도와 3축 각속도 센서로 구성된 관성 측정 장치(IMU)와 압력센서가 내장되어있는 스마트 인솔을 착용하여 얻어진 보행 데이터를 통해 보폭을 추정하는 방법을 제안한다. 먼저 압력센서를 활용하여 한 걸음 주기로 나눈 뒤 나누어진 가속도와 각속도 센서 데이터를 LSTM과 Attention 계층을 결합한 딥러닝 모델에 학습하여 보폭 추정을 시행하였다. LSTM-Attention 모델은 기존 LSTM 모델보다 약 1.14%의 성능 향상을 보였다.

  • PDF