Design and Optimality Analysis of Cache Performance Model for Multimedia Streaming Environments

멀티미디어 스트리밍 환경을 위한 캐쉬 성능평가 모델 설계 및 최적성 분석

Abstract

Multimedia streaming data is very large in size and accessed sequentially, making the LRU(Least Recently Used) algorithm widely used to improve I/O performance in traditional caching environments ineffective. Experimental analysis of this has shown the superiority of interval-based caching over LRU, but the theoretical basis has not been proven. In this paper, we design a cache performance model to analyze the optimality of caching for multimedia streaming environments and design a theoretically optimal caching algorithm based on interval caching. Then, we show that the algorithm we design is an optimal algorithm that minimizes cache misses of streaming data based on the proposed model.

멀티미디어 스트리밍 데이터는 용량이 매우 크고 순차적으로 접근이 이루어지는 특성이 있어 전통적인 캐슁 환경에서 입출력의 성능을 개선하기 위해 널리 사용되고 있는 LRU 알고리즘이 효과적이지 못한 것으로 알려져 있다. 이에 대한 실험적인 분석은 인터벌 기반 캐슁의 LRU 대비 성능 상의 비교 우위를 통해 입증된 바 있으나, 이론적인 근거가 증명되지는 않았다. 본 논문에서는 멀티미디어 스트리밍 환경을 위한 캐슁의 최적성을 분석하기 위해 캐쉬 성능평가 모델을 설계하고, 이론적으로 최적인 캐슁 알고리즘을 인터벌 캐슁에 기반해서 설계한다. 그런 다음 설계된 알고리즘이 스트리밍 데이터의 캐쉬 미스를 최소화하는 교체 알고리즘임을 제안된 모델에 근거한 최적성 분석을 통해 입증한다.

Ⅰ. 서론

캐슁 기술은 웹 서버^[1], 임베디드 시스템^[2], 모바일 엣지 컴퓨팅^[3], 스마트 디바이스^[4] 등 다양한 컴퓨팅 환경에서 널리 연구되어 왔다. 이는 느린 스토리지 접근 또는 원격 시스템을 통한 데이터 접근 시 발생하는 시간 지연을 해소하기 위해 필수적이다^{[5, 6, 7]}. 한편, 멀티미디어 데이터의 캐슁은 스트리밍 시스템의 성능에 크게 영향을 미치기 때문에 수십년간 캐쉬 교체 알고리즘에 관한 연구가 진행되었으며, 대부분의 연구가 인터벌 캐슁의 개념에 기반하고 있다^{[8, 9, 10]}. 인터벌 캐슁은 스트리밍 데이터의 용량이 매우 크고 순차적으로 접근이 이루어진다는 특성을 활용하는 캐슁 기법이다. 인터벌 캐슁이 실험적으로 우수한 성능을 나타낸다는 점은 입증되었지만^[8], 그 유효성을 이론적으로 검증한 연구는 아직까지 이루어지지 않고 있다. 본 논문은 인터벌 캐슁의 효과를 캐쉬 미스율 측면에서 이론적으로 증명하고자 한다. 이를 위해 본 논문에서는 멀티미디어 스티리밍 시스템을 위한 캐쉬 성능평가 모델을 설계하고 이 모델에 근거해서 인터벌 캐슁을 새롭게 정의하고 그 최적성을 증명한다.

본 논문의 이후 구성은 다음과 같다. II장에서는 인터벌 캐슁을 위한 멀티미디어 스트리밍 시스템의 캐쉬 성능평가 모델을 기술한다. III장에서는 인터벌 캐슁의 최적성을 보이기 위해 캐쉬 성능평가 모델에 입각한 새로운 인터벌 캐슁 알고리즘을 정의한다. IV장에서는 III장에서 기술한 인터벌 캐슁 알고리즘이 스트리밍 환경에서 캐쉬 미스를 최소화하는 알고리즘임을 증명한다. 끝으로 V장에서는 본 논문의 결론을 제시한다.

Ⅱ. 캐쉬 성능평가 모델

본 장에서는 스트리밍 시스템에서 캐쉬 교체 알고리즘의 성능을 평가하기 위해 캐쉬 성능평가 모델을 설계한다. 본 캐쉬 성능평가 모델에서는 각 캐쉬 블록들이 고정주기 라운드에 기반해서 주기적으로 스트리밍되며, 캐쉬 블록들은 동일 크기의 파일 블록으로부터 매 라운드 적재되는 것으로 가정한다. 동일 파일에 대한 두 인접 스트림은 인터벌을 형성하며, 인터벌은 두 스트림에 의해 참조되는 파일 블록 간의 거리, 즉 오프셋 차이를 뜻한다. 인터벌을 형성하는 두 스트림은 파일 블록의 접근 위치에 따라 선행 스트림과 후속 스트림으로 나뉘며, 후속 스트림의 인터벌은 이미 선행 스트림에 의해 접근된 파일 블록들로 구성되므로 이를 캐쉬 블록을 통해 최대한 서비스하는 것이 성능 개선의 목표가 된다.

예를 들어, 그림 1과 같이 두 연속적인 스트림 S₁과 S₂가 인터벌 I₂₁을 형성한다고 하자. 이 예에서 스트림 S₂는 인터벌 I₂₁의 선행 스트림이며, 동시에 인터벌 I₃₂의 후속 스트림이다. 그림에서 보는 것처럼 S₂는 다음 라운드에서 캐쉬 미스를 발생시키는 반면 S₁은 인터벌 I₂₁에 속한 캐쉬 블록들로부터 서비스된다. 이와 같은 인터벌 개념은 멀티미디어 시스템에서의 캐슁 알고리즘 설계를 위한 기본적인 아이디어로 활용된다^{[11, 12, 13]}. 즉, 캐쉬 공간이 한정돼 있으므로 인터벌 캐슁은 각 인터벌들을 캐쉬 공간 요구량 순으로 정렬하고 가장 짧은 인터벌부터 캐슁의 대상으로 선정한다^[8].

그림 1. 연속적인 스트림에 의한 인터벌 형성의 예

Fig. 1. An example of forming intervals based on consecutive streams.

본 논문에서는 인터벌의 개념을 캐쉬 성능평가를 위한 이론적인 모델로 활용하며, 각 라운드마다 발생하는 캐쉬 미스의 합을 성능 평가의 척도로 사용한다. 좀 더 구체적으로는 각 스트림의 확률적인(stochastic) 미스 횟수를 인터벌의 개념을 통해 계산한다. 캐쉬 블록들은 대응하는 파일 블록들이 어떤 인터벌에 포함되는지에 따라 그룹핑할 수 있다. 각 인터벌은 캐쉬 블록들을 담는 컨테이너로 생각할 수 있으며, 캐쉬 미스 횟수는 각 인터벌이 보유할 수 있는 최대 캐쉬 블록 수 대비 현재 할당된 캐쉬 블록의 수를 통해 예측할 수 있다. 본 논문에서는 전자를 인터벌 크기라고 정의하고 후자를 인터벌 할당치라고 정의한다. 이때, 인터벌 크기는 각 라운드와 무관하게 정의되는 개념인 반면 인터벌 할당치는 라운드마다 가변적인 개념이다.

시스템 내에 여러 인터벌이 공존할 수 있으며, 이들을 인터벌 크기 순으로 정렬하는 것이 가능하다. 정렬된 인터벌 리스트를 (I₁ I₂ ... I_n)라고 할 때, 인터벌 크기 리스트 Ψ = (ψ₁ ψ₂ ... ψ_n)를 구성할 수 있으며, 이때 ψ_x는 인터벌 I_x (1≤x≤n)의 인터벌 크기를 나타낸다. 또한, 라운드 t에서 각 인터벌의 캐쉬 할당 상황을 나타내는 인터벌 할당 리스트를 Φ = (ϕ^t₁ ϕ^t₂ ... ϕ^t_n)로 정의할 수 있다. 이와 같은 두 리스트로부터 각 라운드마다 발생하는 캐쉬 미스 카운트를 확률적으로 유도할 수 있다.

라운드 t에서 인터벌 크기 리스트 Ψ와 인터벌 할당 리스트 Φ가 주어질 때, 캐슁 알고리즘 𝔸에 의해 라운드 t+j에서 t+k까지 발생하는 캐쉬 미스의 수를 C^k_j(𝔸, Ψ, Φ)라고 하자. 그러면 캐쉬 미스의 수는 각 라운드별로 인터벌 크기 리스트와 인터벌 할당 리스트에 의해 예측할 수 있다.

III. 성능평가 모델을 위한 캐슁 정책

본 논문의 캐쉬 성능평가 모델을 위해 이론적으로 최적의 캐슁 알고리즘을 인터벌 캐슁의 개념에 기반해서 새롭게 정의하였으며 이를 RIC(Revised Interval Caching)으로 명명하였다. RIC은 실제 시스템에서의 동작 방식이 기존 인터벌 캐슁과 유사하게 정의되며, 캐쉬 성능평가 모델에서 최적성(optimality)을 증명하기 위해서 이론적으로 고안된 개념이다. RIC의 동작 방식을 이론적으로 보여주기 위해 인터벌 크기 리스트가 (ψ₁ ψ₂ ... ψ_n)로 주어졌을 때 RIC의 라운드 k에서의 인터벌 할당 리스트가 (ϕ^k₁ ϕ^k₂ ... ϕ^k_n)이라고 하자. 그러면, RIC은 다음 조건을 만족하도록 동작한다.

\(\begin{aligned}\Delta_{m}^{k}=\sum_{x=1}^{m-1} \phi_{x}^{k}-\sum_{x=m+1}^{n}\left(1-\left\lceil\frac{\phi_{x}^{k}}{\psi_{x}}\right\rceil\right), \quad 1 \leq m \leq n.\end{aligned}\)      (1)

\(\begin{aligned}\phi_{m}^{k+1}=\left\{\begin{array}{ll}\phi_{m}^{k}+1 & \Delta_{m}^{k}>0 \text { and } \phi_{m}^{k}<\psi_{m} \\ \phi_{m}^{k}+\Delta_{m}^{k} & \Delta_{m}^{k}<0 \text { and } \phi_{m}^{k}+\Delta_{m}^{k} \geq 0 \\ 0 & \Delta_{m}^{k}<0 \text { and } \phi_{m}^{k}+\Delta_{m}^{k}<0 \\ \phi_{m}^{k} & \text { otherwise }\end{array}\right.\end{aligned}\)       (2)

위 식에서 ∆^k_m는 인터벌 크기가 ψ_m보다 큰 인터벌에게 할당된 캐쉬 블록의 수와 인터벌 크기가 ψ_m 보다 작은 인터벌에게 할당되지 않은 캐쉬 블록의 수 사이의 차이를 나타낸다. RIC은 인터벌 크기가 작은 인터벌에게 우선적으로 캐쉬 블록을 할당하기 때문에 인터벌 크기가 더 작은 인터벌이 최대로 할당되지 않은 상태에서 인터벌 크기가 더 큰 인터벌에 할당된 캐쉬 블록이 존재할 경우 이를 인터벌 크기가 더 작은 인터벌로 이양한다. 따라서, 순서화된 인터벌 리스트가 주어지면 RIC은 캐쉬 블록들을 인터벌 크기가 작은 인터벌부터 할당하며, 시간이 흐름에 따라 새로운 인터벌이 생성되거나 기존의 인터벌이 사라질 경우 각 인터벌에 할당된 캐쉬 블록들은 이에 근거해서 새롭게 조절된다.

매 라운드마다 RIC은 인터벌 크기가 작은 인터벌에 우선적으로 캐쉬 블록을 할당하므로 빈 캐쉬 블록이 필요할 경우 인터벌 크기가 가장 큰 인터벌의 캐쉬 블록부터 우선적으로 회수한다. 따라서, 일부 인터벌이 특정 라운드에서는 캐쉬 블록을 최대로 할당받았다가 다른 라운드에서는 그렇지 않을 수 있으며, 이는 매 라운드마다 인터벌 크기가 작은 인터벌들이 얼마나 존재하는지에 좌우된다.

서비스 라운드가 진행됨에 따라 RIC이 관리하는 인터벌들은 캐쉬 블록을 모두 할당받은 작은 크기의 인터벌 그룹과 캐쉬 블록을 할당받지 못한 큰 크기의 인터벌 그룹으로 나뉘게 된다. 이때, 캐쉬 블록을 전혀 할당받지 못한 인터벌 크기 I_α에 대해 α가 순서 리스트 상의 할당 인덱스라고 할 때 RIC은 다음 식을 만족한다.

Σⁿ_x=α+1ψ_x < N ≤ Σⁿ_x=αψ_x       (3)

이때, N은 캐쉬 블록의 수를 나타내며 이와 같은 상황에서의 할당 리스트를 본 논문에서는 SIFA (Shorter Interval First Allocated) 리스트라고 부른다.

IV. 최적성의 증명

본 장에서는 RIC 알고리즘이 멀티미디어 스트리밍 환경에서 캐쉬 미스를 최소화하는 알고리즘임을 보인다.

정리 1. 인터벌 크기 리스트 Ψ에 대한 SIFA 리스트가 Φ^s라고 하자. 그러면 임의의 할당 리스트 Φ에 대해,

C¹₀(𝔸, Ψ, Φ) - C¹₀(ℝ𝕀ℂ, Ψ, Φ^s) ≥ 0       (4)

가 성립한다.

증명. 정렬된 인터벌 리스트 (I₁ I₂ ... I_n)에 대해 인터벌 크기 리스트와 SIFA 리스트, 인터벌 할당리스트가 각각 Ψ = (ψ₁ ψ₂ ... ψ_n), Φ^s = (ϕ^s₁ϕ^s₂ ... ϕ^s_n), Φ = (φ₁ φ₂ ... φ_n)이라고 하자. 각 인터벌 I_x에 대한 캐쉬 미스의 기대값이 1–φ_x/ψ_x이므로 다음이 성립한다.

\(\begin{aligned} C_{0}^{1}(\mathbb{A}, \Psi, \Phi)-C_{0}^{1}\left(\mathbb{R} \mathbb{C} C, \Psi, \Phi^{s}\right) & =\sum_{x=1}^{n}\left(1-\frac{\phi_{x}}{\psi_{x}}\right)-\sum_{x=1}^{n}\left(1-\frac{\phi_{x}^{s}}{\psi_{x}}\right) \\ & =\sum_{x=1}^{n}\left(\frac{\phi_{x}^{s}-\phi_{x}}{\psi_{x}}\right)\end{aligned}\)       (5)

식 (5)에서 ϕ^diff_x = ϕ^s_x - ϕ_x라 할 때, 캐쉬 할당 인덱스 α에 대해 아래의 결과를 얻을 수 있다.

\(\begin{aligned}\sum_{x=1}^{n} \frac{\phi_{x}^{\text {diff }}}{\psi_{x}}=\sum_{x=1}^{\alpha-1} \frac{\phi_{x}^{\text {diff }}}{\psi_{x}}+\frac{\phi_{\alpha}^{\text {diff }}}{\psi_{\alpha}}+\sum_{x=\alpha+1}^{n} \frac{\phi_{x}^{\text {diff }}}{\psi_{x}}\end{aligned}\)       (6)

식 (6)에서 ϕ^diff_x는 x<α인 경우 0 이하의 값을 가지며 x>α인 경우 0 이상의 값을 가진다. 따라서, 아래 식을 도출할 수 있다.

\(\begin{aligned}\sum_{x=1}^{\alpha-1} \frac{\phi_{x}^{\text {diff }}}{\psi_{x}} \geq \frac{\sum_{x=1}^{\alpha-1} \phi_{x}^{\text {diff }}}{\psi_{\alpha}}, \sum_{x=\alpha+1}^{n} \frac{\phi_{x}^{\text {diff }}}{\psi_{x}} \geq \frac{\sum_{x=\alpha+1}^{n} \phi_{x}^{\text {diff }}}{\psi_{\alpha+1}}\end{aligned}\)       (7)

또한 이를 통해 식 (8)을 유도할 수 있다.

\(\begin{aligned}\sum_{x=1}^{n} \frac{\phi_{x}^{d i f f}}{\psi_{x}} \geq \frac{\sum_{x=1}^{\alpha-1} \phi_{x}^{\text {diff }}}{\psi_{\alpha}}+\frac{\phi_{\alpha}^{\text {diff }}}{\psi_{\alpha}}+\frac{\sum_{x=\alpha+1}^{n} \phi_{x}^{\text {diff }}}{\psi_{\alpha+1}}\end{aligned}\)       (8)

식 (8)에

\(\begin{aligned}\sum_{x=1}^{n} \phi_{x}^{\text {diff }}=0\end{aligned}\)       (9)

를 적용하면 아래 식을 얻을 수 있다.

\(\begin{aligned} \sum_{x=1}^{n} \frac{\phi_{x}^{\text {diff }}}{\psi_{x}} & \geq \frac{\sum_{x=1}^{\alpha-1} \phi_{x}^{\text {diff }}}{\psi_{\alpha}}+\frac{\phi_{\alpha}^{\text {diff }}}{\psi_{\alpha}}+\frac{\sum_{x=\alpha+1}^{n} \phi_{x}^{\text {diff }}}{\psi_{\alpha+1}} \\ = & \frac{-\sum_{x=\alpha}^{n} \phi_{x}^{\text {diff }}}{\psi_{\alpha}}+\frac{\phi_{\alpha}^{\text {diff }}}{\psi_{\alpha}}+\frac{\sum_{x=\alpha+1}^{n} \phi_{x}^{\text {diff }}}{\psi_{\alpha+1}} \\ & -\frac{\sum_{x=\alpha+1}^{n} \phi_{x}^{\text {diff }}}{\psi_{\alpha}}+\frac{\sum_{x=\alpha+1}^{n} \phi_{x}^{\text {diff }}}{\psi_{\alpha+1}} \\ = & \frac{\sum_{x=\alpha+1}^{n} \phi_{x}^{\text {diff }} \cdot\left(\psi_{\alpha}-\psi_{\alpha+1}\right)}{\psi_{\alpha} \cdot \psi_{\alpha+1}} \geq 0\end{aligned}\)       (10)

정리 2. 임의의 캐슁 알고리즘 𝔸에 대해 다음 식을 만족하는 c (c≤j)가 존재한다.

C^k_j(𝔸, ψ, Φ) - C^k_j(ℝ𝕀ℂ, ψ, Φ) ≥ 0 (11)

증명. Φ^𝔸과 Φ^ℝ𝕀ℂ가 각각 알고리즘 𝔸와 ℝ𝕀ℂ이 캐쉬를 j 라운드 동안 운영한 이후의 할당 리스트라 하고, Φ^𝔸_x과 Φ^ℝ𝕀ℂ_x를 j 라운드부터 시작해서 x 라운드까지 서비스된 시점의 할당 리스트라고 하자. 그러면 Φ^ℝ𝕀ℂ가 SIFA 리스트가 되도록 c를 잡을 수 있다. 따라서 모든 Φ^ℝ𝕀ℂ_x가 또한 SIFA 리스트이다. 따라서, 아래 식이 도출된다.

\(\begin{aligned} C_{j}^{k} & (\mathbb{A}, \Psi, \Phi)-C_{j}^{k}(\mathbb{R I} \mathbb{C}, \Psi, \Phi) \\ & =C_{0}^{k-j}\left(\mathbb{A}, \Psi, \Phi^{\mathbb{A}}\right)-C_{0}^{k-j}\left(\mathbb{R I} \mathbb{C}, \Psi, \Phi^{\mathbb{R I C}}\right) \\ & =\sum_{x=1}^{k-j} C_{0}^{1}\left(\mathbb{A}, \Psi, \Phi_{x}^{\mathbb{A}}\right)-\sum_{x=1}^{k-j} C_{0}^{1}\left(\mathbb{R} \mathbb{I} \mathbb{C}, \Psi, \Phi_{x}^{\mathbb{R} \mathbb{I}}\right) \\ & =\sum_{x=1}^{k-j}\left(C_{0}^{1}\left(\mathbb{A}, \Psi, \Phi_{x}^{\mathbb{A}}\right)-C_{0}^{1}\left(\mathbb{R} \mathbb{C} \mathbb{C}, \Psi, \Phi_{x}^{\mathbb{R} \mathbb{I}}\right)\right)\end{aligned}\)       (12)

식 (12)의 모든 항이 정리 1에 의해 0 이하의 값을 가지므로 C^k_j(𝔸, ψ, Φ) - C^k_j(ℝ𝕀ℂ, ψ, Φ) 역시 0 이하의 값을 가진다.

V. 결론

멀티미디어 스트리밍 서버 환경을 위한 많은 캐슁 알고리즘이 제안되었으나, 아직까지 LRU (least recently used) 알고리즘이 여전히 실제 시스템에서 많이 사용되고 있다. 이는 대부분의 개발자가 파일 시스템의 버퍼 캐슁 기법으로 멀티미디어 데이터를 캐슁하는 것이 여전히 효과적이라고 생각하기 때문이다. 한편, 스트리밍 데이터에 대해서는 인터벌 캐슁에 기반한 캐쉬 교체 알고리즘이 캐슁의 효과를 높일 수 있음이 실험적으로 입증된 바 있다. 본 논문에서는 이러한 인터벌 캐슁이 이론적으로 우수한 성능을 가짐을 증명하기 위해 캐쉬 성능평가 모델을 설계하고, 이론적인 인터벌 캐슁 알고리즘인 RIC이 스트리밍 환경을 위한 성능 평가 모델에서 캐쉬 미스를 최소화하는 최적의 교체 알고리즘임을 보였다.