Energy Theft Detection Based on Feature Selection Methods and SVM

특징 선택과 서포트 벡터 머신을 활용한 에너지 절도 검출

Abstract

As the electricity grid systems has been intelligent with the development of ICT technology, power consumption information of users connected to the grid is available to acquired and analyzed for the power utilities. In this paper, the energy theft problem is solved by feature selection methods, which is emerging as the main cause of economic loss in smart grid. The data preprocessing steps of the proposed system consists of five steps. In the feature selection step, features are selected using analysis of variance and mutual information (MI) based method, which are filtering-based feature selection methods. According to the simulation results, the performance of support vector machine classifier is higher than the case of using all the input features of the input data for the case of the MI based feature selection method.

전력 그리드 시스템이 ICT 기술의 발달로 지능화됨에 따라 그리드에 연결된 사용자의 전력 사용량 정보를 획득하고 분석할 수 있게 되었다. 본 논문에서는 스마트 그리드에서 경제적 손실을 일으키는 주된 원인인 에너지 절도 문제를 특징 선택과 서포트 벡터 머신을 이용해서 해결한다. 본 논문에서 제안하는 시스템의 데이터 전처리 과정은 다섯 단계다. 전처리 단계에서 필터링 기반 특징 선택 방법인 분산 분석 기반 방식과 상호의존정보 기반 방식을 활용해 특징을 선택한다. 시뮬레이션 결과 입력 데이터의 특징을 그대로 이용하는 것보다 상호의존정보 기반 특징 선택을 이용하면 적은 입력 특징을 이용해 서포트 벡터 머신 기반 분류기로부터 더 높은 분류 성능을 얻어 낼 수 있다.

Ⅰ. 서론

1. 연구 배경 및 목적

전력 그리드 시스템에서 가장 큰 문제 중 하나는 에너지 절도이다. 에너지 절도는 송배전 과정에서 자연스럽게 생긴 전력 손실과 다르게 멀티 미터 조작, 직접적인 에너지 절도 등을 통해서 발생한다. 이러한 에너지 절도는 경제적 손실을 발생시키며 미국, 인도, 파키스탄, 말레이시아 등 아시아 및 다양한 서구권 국가에서 발생한다^[1].

스마트 그리드는 기존의 전력망에서는 제공할 수 없는 다양한 기능들을 제공할 수 있다. 제공하는 주요한 기능 중 하나는 사용자의 실시간 에너지 사용량을 분석하는 기능이다. 이 기능이 활용될 수 있는 이유는 분석을 위해 기록되는 사용자의 에너지 사용량 정보를 AMI (advanced metering infrastructure, 지능형 검침 인프라)의 양방향 통신 기능을 활용하여 데이터 센터로 전달할 수 있기 때문이다^[2]. 데이터 센터에서는 기록된 데이터를 가지고 이상 패턴 분석, 사용량 예측 등을 진행한다. 이러한 데이터 분석 기능을 활용하여 전력 사용량 기록 분석을 통해 정상 사용자와 비정상 사용자 간의 사용패턴을 분석할 수 있다.

본 논문에서는 네트워크 프로토콜관점^[3]에서의 문제해결 방식이 아닌 데이터 관점에서 문제를 해결하고자 한다.

사용량 패턴 분석을 서포트 벡터 머신(support vector machine, 이하 SVM) 및 SVM을 활용한 변형된 기법들을 활용하여 에너지 절도를 검출하는 방법들은 다양한 논문들^[4-6]에서 연구됐다. 하지만 기존의 방법들에선 입력된 데이터의 차원 축소를 위한 입력 특징 선택에 관한 논의는 이루어지지 않고 데이터 분류기와 관련된 논의만 이루어졌다. 특징 관점에서 문제를 해결한 방식^[7] 은 차원 축소를 위해서 특징 추출(feature extraction)을 활용한다.

본 논문에서는 전력 사용량과 관련된 사용자의 시계열 데이터를 필터 기반 다양한 특징 선택 방법을 이용하여 입력 데이터의 차원 축소를 진행한다. 특징을 선택하는 방법을 사용하게 되면 분류기가 더 적은 계산 비용 사용하게 되고 높은 분류 정확도를 제공한다^[8]. 이후 SVM을 이용해 에너지 데이터의 분류 성능의 변화를 관찰하고 성능을 비교한다.

본 논문은 총 5장으로 구성된다. Ⅰ장 서론에서는 연구 배경 및 목적을 간략하게 설명하고 Ⅱ장에서는 제안하는 에너지 절도 검출 시스템 모델을 기술한다. Ⅲ장에서는 특징 선택을 포함한 데이터 전처리를 위한 방법을 설명할 것이며 Ⅳ장에서는 서포트 벡터 머신 기반 분류기를 설명한다. Ⅴ장에서는 시뮬레이션 환경과 시뮬레이션 결과를 통해 제안하는 에너지 절도 검출기의 성능을 보이며, 마지막으로 Ⅵ장에서 결론을 짓는다.

Ⅱ. 에너지 절도 검출을 위해 제안하는 시스템 모델

본 장에서는 에너지 절도 검출을 위한 시스템 모델에 대한 전반적인 구조 설명을 진행한다. 그림 1은 검출을 위한 전체 구조도를 나타낸 그림이다.

그림 1. 제안하는 에너지 절도 검출을 위한 시스템 모델의 블록 다이어그램

Fig. 1. The block diagram of the proposed system model for energy theft detection

먼저, 사용량 데이터를 분석하기에 앞서서 총 5가지 단계의 전처리 과정을 통해 절도 데이터를 준비한다. 각각의 전처리 과정은 이어지는 Ⅲ장에서 설명한다. 초반의 세 단계의 전처리 과정에 사용되는 방법들은 에너지 데이터를 제공한 논문^[9]에서 사용한 방법들을 적용한다. 이후에 데이터 증강 방식인 SMOTE^[10]를 사용해 에너지 데이터의 불균형 문제를 해결한다. 이후 데이터를 트레이닝 데이터 셋과 테스트 데이터 셋으로 나눈다. 이후에 두 종류의 특징 선택 방법인 분산 분석 (analysis of variance, 이하 ANOVA)과 상호의존정보 (mutual information, 이하 MI)를 통해서 입력 특징을 선택한다. 특징을 선택할 때는 cross-validation의 한 종류인 k-fold validation 방식을 활용하여 트레이닝 데이터 셋에서의 사용하는 입력 특징의 퍼센트에 따른 SVM의 성능을 평가하여 특징을 선택한다. 트레이닝 데이터를 통해서 입력 특징 중 사용할 특징의 퍼센트가 결정되면 테스트 데이터의 특징을 선택하는 가공 과정을 거치고 이 데이터를 통해 분류 성능을 평가한다. 이때 SVM 모델을 특징 선택 과정을 거친 트레이닝 데이터를 통해서 미리 학습을 시켜둔다.

Ⅲ. 데이터 전처리

1. 기본 데이터 전처리 방법

가. 손실 데이터 처리

기록된 데이터는 측정 손실 값을 지니고 있으므로 이에 대한 전처리 과정이 필요하다. 식 (1)을 토대로 한 사용자의 데이터에 대한 i번 특징에 대한 값 x_i은 전 후의값을 이용해 결정한다.

\(x_{i}=\left\{\begin{array}{ll} \frac{\left(x_{i-1}+x_{i+1}\right)}{2} & \text { if } x_{i}=n a, x_{i-1} \neq n a, x_{i-1} \neq n a \\ x_{i} & \text { if } x_{i} \neq n a \\ 0 & \text { otherwise } \end{array},\right.\)       (1)

여기서 na는 특징 값이 없는 경우를 나타낸다.

나. 이상 데이터 처리

이상 데이터 처리에는 경험적 규칙, 3 시그마 규칙이라고 불리는 68-95-99.7 규칙을 적용한다. 세 가지 규칙 중에서 평균을 중심으로 95%의 분포 내 있는 값으로 범위 외 5%의 값을 변경하는 방법을 적용한다. 본 논문에서는 식 (2)와 같이 평균 이하의 이상 데이터에 대해서는 변경을 진행하지 않고 평균 큰 값을 지니는 값을 경곗값으로 바꾼다.

\(x_{i}= \begin{cases}m(X)+2 s t d(X) & \text { if } x_{i}>m(X)+2 s t d(X) \\ x_{i} & \text { otherwise }\end{cases}\)       (2)

여기서 X는 한 사용자의 측정값을 나타내며, m(X)는 X의 평균, std(X)는 X의 표준편차를 의미한다.

다. 데이터 정규화

데이터 정규화를 통해 데이터를 특정 범위 내 값으로 변경 시켜 분류기가 데이터를 학습할 수 있도록 한다. 아래 식 (3)은 최소 최대 범위 변환 방법으로 데이터가 0과 1 사이에 분포하도록 한다.

\(x_{i}=\frac{x_{i}-\min (X)}{\max (X)-\min (X)}\)       (3)

여기서 max(X)는 X의 최댓값, min(X)는 X의 최솟값을 의미한다.

2. 데이터 증강 방법

에너지 절도 데이터는 정상 사용자와 비정상 사용자의 데이터로 이루어졌다. 비정상 사용자의 데이터가 전체 데이터에서 차지하는 비율이 낮으므로 비정상 사용자의 데이터를 인위적으로 생성해야 한다. 그렇지 않으면, 불균형한 데이터를 통해 학습된 분류기는 소수의 데이터를 가진 집단을 분류하지 못하게 되고 한쪽 집단으로만 분류하게 된다. 이러한 현상을 막기 위해서 본 논문에서는 이전의 데이터 증강 방법을 활용한 방식^[11]과 동일하게 SMOTE 방식의 데이터 증강 방법을 적용한다. SMOTE 는 아래와 같은 수식으로 나타낸다.

\(X_{s}=X+\alpha\left(X_{k}-X\right),\)       (4)

여기서 X_s는 합성된 데이터를 의미하며, α는 0과 1 사이의 임의의 값이다. X_k는 X와 k번째로 가까운 값 중 임의로 선택된 값을 의미한다. 본 시스템에서는 k를 5로 설정한다.

3. 특징 선택 방법

본 장에서 특징 선택을 위한 필터링 방법의 선택 기준이 되는 ANOVA 검정, MI에 대한 설명을 진행한다. 필터링 기반의 특징 선택을 진행하게 되면 입력 값의 통계적 특성에 따라서 분류와 관계없는 특징들을 제거할 수 있다.

가. ANOVA 검정

ANOVA 검정을 통해서 구해지는 F값이 큰 특징들만 남기고 이외의 특징들은 제거하는 방식으로 필터링한다. F값은 각 특징에 대해서 그룹 사이의 분산과 그룹 내부의 분산을 통해서 구해진다. 이진 분류기에 대한 각각의 수식은 아래와 같다.

\(f-v a l u e=\frac{\delta_{c c}^{2}}{\delta_{I c}^{2}},\)       (5)

\(\delta_{c c}^{2}=\sum n_{j}\left(\bar{X}_{j}-\bar{X}\right),\)       (6)

\(\delta_{I c}^{2}=\frac{\sum_{j} \sum_{i}\left(X_{i j}-\overline{X_{j}}\right)^{2}}{n-2},\)       (7)

여기서 \(\delta_{c c}^{2}\) 는 그룹 사이의 분산을 의미 \(\delta_{I c}^{2}\)는 그룹 내의 분산을 의미한다. 식 (6)에서 n_j는 j 번째 그룹 안 sample의 수, \(\overline{X_{j}}\)는 j 번째 그룹의 평균, \(\bar{X}\)는 전체의 평균을 나타낸다. 식 (7)에서 X_ij는 j 번째 그룹의 i 번째 샘플을 의미하며 n은 총 샘플의 수를 의미한다.

나. MI

두 랜덤 변수가 서로 독립일 경우 MI은 0이 되며 값이 커질수록 두 값의 연관도가 커진다. MI는 두 불연속 랜덤 변수 X, Y에 대해서 식 (8)과 같이 구해진다.

\(I(X ; Y)=\sum \sum p(x, y) \log \frac{p(x, y)}{p(x) p(y)},\)       (8)

여기서 p(x,y)는 결합 확률 질량 함수를 의미하며 p(x)와 p(y)는 각각 랜덤 변수에 대한 주변 확률을 의미한다.

Ⅳ. SVM 기반 에너지 절도 분류기

SVM은 데이터 분포 공간에서 초평면이라 불리는 데이터를 분류하는 결정 경계를 찾는 모델이다. 최적의 결정 경계는 각 데이터 집단에서 가장 멀리 떨어진 것으로 설정한다. 최적의 결정 경계로 분류 기준을 설정하면 그룹의 데이터 중 결정 경계와 가장 가까이 있는 데이터인서포트 벡터와 결정 경계의 사이의 마진 값이 커지게 된다. SVM은 목적함수가 이차식인 (Quadratic program, QP) 최적화 문제에 관한 식으로 표현된다. 식 (9)는 SVM을 나타내는 수식이다^[5].

\(\begin{aligned} &\min \left\{\frac{1}{2}\|\bar{w}\|+C \sum_{i} e_{i}\right\} \\ &\text { such that } y_{i}\left(\bar{w}^{T}\right)\left(\Phi\left(\bar{x}_{i}\right)+b\right) \geq 1-e_{i}, \end{aligned}\)       (9)

여기서 \(\bar{x}_{i}\)는 i 번째 입력 데이터, y_i는 그룹 라벨, \(\bar{w}\)는 초평면의 노멀 벡터, C는 페널티 값, e_i는 여유 변수, \(\Phi(x)\)는 커널 함수, b는 초평면에 대한 오프셋 값이다. 커널 함수로 방사성 기저 함수(radial basis function, RBF)를 사용하며 식은 아래와 같다.

\(\Phi(x)=e^{-\gamma\|x\|^{2}},\)       (10)

여기서 파라미터 γ값에 의해 RBF 커널 함수의 넓이를 조절한다.

Ⅴ. 에너지 절도 검출 시뮬레이션

1. 기본 데이터 전처리 방법

본 논문은 에너지 절도 데이터에 대해 데이터 전처리과정의 특징 선택의 영향을 보기 위해서 시뮬레이션에 사용되는 SVM의 파라미터 세팅은 이전 SVM을 활용한방식^[5]과 같다. 본 논문에서 사용한 데이터는 wide and deep CNN을 활용한 논문^[9]에서 활용한 데이터를 사용한다. 이 데이터는 1, 034일간의 42, 372명의 사용자 데이터를 포함하고 있으며 정상 사용자의 수는 38, 757명으로 전체에서 약 91.5%를 차지하고 있고 비정상 사용자의 수는 3, 615명으로 전체에서 약 8.5%를 차지하고 있다.

본 논문에서 활용한 SVM 모델은 파이썬 프로그래밍을 위한 사이킷 런 라이브러리를 이용하여 구현했다. SVM의 커널함수로 RBF를 활용했고 C 값은 50으로 설정했다. 는 ‘auto’로 설정했다.

본 논문에서 특징 선택 비율을 정하기 위해 전체 데이터 특징 중에 입력으로 사용하는 특징의 비율에 따른 SVM분류기의 정확도를 k-겹 교차 검증을 사용해서 계산한다. k-겹 교차 검증의 k는 5로 설정했다.

2. 특징 선택을 위한 시뮬레이션 결과

두 그래프는 사용한 특징의 비율에 따른 SVM 분류기의 정확도를 나타낸다. 실험을 위해 설정한 특징의 비율은 1%, 3%, 5%, 10%, 20%, 40%, 60%, 80%, 100%이다. 각 반복 횟수에 대해 정확도 값의 평균을 그래프로 나타냈고 표준편차도 함께 그래프 위에 표시했다.

그림 2는 ANOVA-SVM의 환경으로 시뮬레이션을 진행한 결과이다. 모든 특징을 사용했을 때 평균적으로 약 88%의 분류 정확도를 지니고 있음을 확인할 수 있다. 전체 입력 데이터 특징의 60%, 40%를 사용하게 되면 각각 약 85%, 84%의 분류 정확도를 보인다. 이후의 비율들에선 약 80% 이하의 분류 정확도를 보인다. ANOVA 방법을 사용하여 특징을 선택하는 경우 약 60%의 데이터를 사용하여 분류할 경우 큰 정확도 손실 없이 에너지 절도검출을 진행할 수 있다.

그림 2. 입력 특징의 퍼센트에 따른 ANOVA-SVM 분류 정확도

Fig. 2. Accuracy score of ANOVA-SVM varying the percentage of used input features

그림 3은 MI-SVM의 환경으로 시뮬레이션을 진행한 결과이다. 이 시뮬레이션 환경에서는 80%의 입력 특징을 사용했을 경우 모든 입력 특징을 사용했을 경우보다 정확도가 높게 나왔다. 40% 이상의 입력 특징을 사용하여 에너지 절도를 검출하게 되면 약 85% 이상의 정확도를 얻을 수 있다.

그림 3. 입력 특징의 퍼센트에 따른 MI-SVM 분류 정확도

Fig. 3. Accuracy score of MI-SVM varying the percentage of used input features

그림 2와 그림 3을 비교해 볼 때, MI 기반의 특징 선택 방식이 ANOVA 방식의 특징 선택 방식과 비교하면 전체 특징에 대하여 40% 이상의 특징을 사용하게 되면 높은 성능을 얻어 낼 수 있다. 그러나 MI 방식은 전체 중 20%의 특징만 사용하게 될 경우에는 급격한 검출 성능 저하를 발생시킨다.

3. 에너지 절도 검출 시뮬레이션 결과

Ⅴ장 2절에서 얻은 특징 퍼센트 값인 80%를 이용하여각 방법으로 특징을 선택한 경우와 100%의 특징을 그대로 사용한 경우에 대해 테스트 데이터 셋에서 정확도 비교를 진행했다.

그림 4에 따르면 테스트 데이터를 그대로 사용했을 경우 정확도가 81.79%가 나온 반면 MI를 사용해서 실험을 진행한 결과 정확도가 82.14%로 나왔다. ANOVA 검정을 사용한 경우는 정확도가 80.04%로 나타났다.

그림 4. 제안하는 에너지 절도 검출 모델의 시뮬레이션 결과

Fig. 4. The simulation results of the proposed energy theft detection model

이를 통해서, MI를 사용한 경우 전체의 입력 특징을 사용한 경우보다 20% 적은 입력 특징을 사용해 좋은 결과를 얻어낼 수 있음을 확인했다.

Ⅵ. 결론

본 논문에서는 특징 선택과 SVM을 활용하여 에너지 절도를 검출하는 시스템 모델을 제안했다. 본문에서 실제 기록된 불균형한 에너지 데이터를 전처리를 위해 데이터 증강을 위한 SMOTE 방식을 포함한 다양한 전처리방식들을 설명했다. ANOVA와 MI 두 가지 특징 선택 방식을 통해서 같은 파라미터의 SVM 분류기를 이용해 에너지 절도 데이터에 대한 분류 정확도 평가를 진행했다.

본 논문에서 제안하는 시스템을 활용하면 전체 데이터를 사용하여 에너지 절도 검출을 위한 연산을 할 필요 없이 일부분의 특징만을 이용하여 큰 정확도 손실 없이 에너지 절도를 검출할 수 있는 것을 확인할 수 있다. 실험 결과 MI를 활용하여 입력 특징을 이용하여 전체 특징 중 80%의 특징을 선택한 경우 SVM을 통한 에너지 절도 검출 정확도가 전체의 데이터를 이용하여 검출하는 경우보다 좋은 결과를 얻었다. 다만, MI의 경우 선택된 특징의 수가 전체의 20% 이하로 떨어지게 되면 ANOVA 검정을 사용하여 특징을 선택하는 방식에 비해서 정확도가 급격하게 떨어진다.

본 논문에서 사용하는 방식은 전력 수요 예측^[12] 같은 다양한 방식과 함께 스포츠 분야의 에너지 관리 시스템 ^[13]과 같은 다양한 에너지 관리 시스템에서 활용될 수 있다.

※ 이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원 (No. NRF-2019R1F1A1058266) 및 2021년도 광운대학교 우수연구자 지원 사업에 의해 연구되었음.