時系列解析-3（ARMA過程）

はじめに

今回は、時系列解析の3回目として以下を紹介する。

ARMA過程
ARIMA過程
SARIMA過程

MA過程とAR過程

最初に、先の2回で紹介したMA過程とAR過程の長所と短所をまとめておく。

図1

ARMA過程

ARMA( $p,q$ )過程とは、先の2回で説明した2つの過程、AR( $p$ )過程とMA( $q$ )過程を組み合わせたものである。AR( $p$ )過程は次式で定義された。

$\begin{align*} y_t=c+\epsilon_t+\sum_{n=1}^p\phi_ny_{t-n},\;\;\;\epsilon_t\sim{\rm W.N.}(\sigma^2) \end{align*}$

ここで、W.N.( $\sigma^2$ )は分散 $\sigma^2$ を持つホワイト・ノイズ、 $c$ は定数である。AR( $p$ )過程は $p$ 個の過去データの線形和で現時刻の値 $y_t$ を表す。また、MA( $q$ )過程は次式で与えられた。

$\begin{align*} y_t=\mu+\epsilon_t+\sum_{n=1}^{q}\theta_n\epsilon_{t-n},\;\;\;\epsilon_t\sim{\rm W.N.}(\sigma^2) \end{align*}$

ここで、 $\mu$ は定数である。MA( $q$ )過程は $q$ 個のホワイト・ノイズの線形和で記述される。これらを組み合わせたARMA( $p,q$ )過程は次式で定義される。

$\begin{align*} y_t=c+\epsilon_t+\sum_{n=1}^p\phi_ny_{t-n}+\sum_{n=1}^{q}\theta_n\epsilon_{t-n},\;\;\;\epsilon_t\sim{\rm W.N.}(\sigma^2) \end{align*}$

「時系列解析-1」で見たように、MA( $q$ )過程は常に定常であった（定常とは、期待値 ${\rm E}[y_t]$ と自己共分散 ${\rm Cov}[y_t,y_{t-k}]$ が時間に依存しない状態を表すのであった）。従って、ARMA( $p,q$ )が定常になるか否かは、ARMA( $p,q$ )過程の中のAR( $p$ )過程の部分が定常になるか否かによって決まる。

詳細な議論は省くが、ARMA( $p,q$ )過程は定常過程を対象とする場合に高い説明能力を持つことが知られている。従って、このARMA( $p,q$ )過程を用いて時系列解析を行う場合、まず最初に、与えられた時系列データを定常過程に変換する作業が行われる。具体的な変換方法を次に示す。

非定常過程から定常過程へ

定常過程への変換方法は簡単である。差分を取れば良い。いま時系列データ $\{y_t\}$ の1階差分系列を考える。

$\begin{align*} \delta^{(1)}y_t=y_t-y_{t-1} \end{align*}$

1階差分系列と区別するため元の系列 $\{y_t\}$ を原系列と呼ぶことにする。原系列が非定常過程であり1階差分系列が定常過程のとき、原系列 $\{y_t\}$ を単位根過程 $I(1)$ と呼ぶ。1階差分系列 $\{\delta^{(1)}y_t\}$ が非定常過程の場合には、さらに差分を考える。

$\begin{align*} \delta^{(2)}y_t=\delta^{(1)}y_t-\delta^{(1)}y_{t-1} \end{align*}$

1階差分系列 $\{\delta^{(1)}y_t\}$ が非定常過程であり2階差分系列 $\{\delta^{(2)}y_t\}$ が定常過程の時、原系列 $\{y_t\}$ を2次和分過程 $I(2)$ と呼ぶ。一般に $d-1$ 階差分系列が非定常過程であり $d$ 階差分過程が定常過程のとき、原系列は $d$ 次和分過程 $I(d)$ と呼ばれる。

次に、差分を取ることにより非定常過程から定常過程に変化する仕組みを説明する。例として次の過程を考える。

$\begin{align*} y_t = a+y_{t-1}+\epsilon_t,\;\;\;\epsilon_t\sim{\rm W.N.}(\sigma^2) \end{align*}$

ここで、 $a$ は定数である。これはランダム・ウォークと呼ばれる過程である。この過程は係数 $\phi_1$ が1のAR(1)過程であるから非定常過程である（「時系列解析-2」を参照）。さて、この過程の1階差分過程を計算する。

$\begin{align*} \delta^{(1)}y_t &=a+\epsilon_t \end{align*}$

これはホワイトノイズ（プラス定数）であるから定常過程になる。今の場合は一度の差分で定常過程となったが、複数回の差分を繰り返すことにより定常過程になる場合もある。このように非定常過程は差分を取ることにより定常過程に変換できることが多い。与えられた過程に対し差分を取るべきか否かの判定は次のKPSS検定で行うことができる。

KPSS検定

差分前は非定常、差分後は定常になるか否かを判断する一手法としてKPSS検定がある。この検定では、原系列 $y_t$ として次式を仮定する。

(1) $\begin{align*} y_t = \xi t+\tau_t+e_t \end{align*}$

ここで、 $\xi$ は定数である。 $\xi t$ はトレンド項と呼ばれ、時系列データを単調に増加させるか減少させる。 $\tau_t$ は

$\begin{align*} \tau_t = \tau_{t-1}+u_t \end{align*}$

を満たすランダム・ウォークであり、 $u_t\sim {\rm iid}(0,\sigma_u^2)$ である。ここで、 ${\rm iid}(0,\sigma_u^2)$ は、平均0、分散 $\sigma_u^2$ の独立同分布からのサンプリングを表す。 $e_t$ は定常過程を表す。いま2つの仮説を定義する。

帰無仮説： $\sigma_u^2=0$ （単位根なし。差分とらない）
対立仮説： $\sigma_u^2\neq0$ （単位根あり。差分をとる）

帰無仮説が成り立つ場合、 $\sigma^2_u=0$ であるからランダム・ウォークは定常過程になることに注意する。この2つの仮説に対し検定を行うのがKPSS検定である。帰無仮説が成立する確率（危険率）が5%（一般的に使われる値）より低ければ帰無仮説を棄却する。つまり、単位根あり（差分をとるべき）と判断する。

ARMAの派生モデル

以下、ARMAの派生モデルを紹介する。

ARIMAモデル

先にARMAモデルは定常過程に対し高い説明能力を持つと述べた。原系列の差分を取ることにより定常化した過程（ $d$ 次和分過程 $I(d)$ ）に対しARMAモデルを適用したモデルをARIMA( $p,d,q$ )モデルと呼ぶ。この数式を書きおろすには少し準備が必要である。最初にARIMA( $1,0,1$ )モデルを考える。これはARMA( $1,1$ )モデルに等しいから

(2) $\begin{align*} y_t=c+\epsilon_t+\phi_1y_{t-1}+\theta_1\epsilon_{t-1} \end{align*}$

と書ける。ここで、ラグ演算子 $B$ を次式で導入する。

$\begin{align*} y_{t-1}=By_t \end{align*}$

$B$ は、時刻を1つ昔に戻す（Backword）演算子である。この演算子を使えば $\epsilon_{t-1}$ に対しても $\epsilon_{t-1}=B\epsilon_t$ と書ける。これらを式(2)に代入すると

$\begin{align*} y_t=c+\epsilon_t+\phi_1By_{t}+\theta_1B\epsilon_{t} \end{align*}$

これを変形して

(3) $\begin{align*} (1-\phi_1B)y_t=c+(1+\theta_1B)\epsilon_{t} \end{align*}$

を得る。式(3)がARIMA( $1,0,1$ )モデルを表す式である。ARIMA( $1,1,1$ )モデルは1階差分系列のARIMA(1,0,1)であるから、 $y_t$ を $\delta^{(1)}y_t=y_t-y_{t-1}=(1-B)y_t$ に置き換えれば良い。

$\begin{align*} (1-\phi_1B)\delta^{(1)}y_t=c+(1+\theta_1B)\epsilon_{t} \end{align*}$

これが、ARIMA( $1,1,1$ )モデルを記述する式である。一般のARIMA( $p,d,q$ )モデルの場合は

$\begin{align*} (1-\sum_{i=1}^p\phi_iB^i)\delta^{(d)}y_t=c+(1+\sum_{j=1}^q\theta_jB^j)\epsilon_{t} \end{align*}$

となる。ここで、 $\delta^{(d)}y_t=(1-B)^ny_t$ である。かなり複雑な式になる。

SARIMAモデル

自己相関（「時系列解析-1」と「時系列解析-2」で説明した）のグラフを描画した際に、顕著な周期性（季節成分）が見出されることがある。

図2

例えば上図は飛行機の乗客数データ（データ解析で良く使われるデータセットのひとつ）の自己相関図である（元データはここにある）。図から12か月の周期を読み取ることができる。この周期を $m$ とする。このとき、 $y_t$ と $y_{t-m}$ の差を取った差分系列を考える（ $z_{t}=y_t - y_{t-m}$ ）。新たな系列データ $\{z_t\}$ に対するARIMAモデルを考えると、次数 $p,d,q$ に相当する新たな次数 $P,D,Q$ を定義することができる。系列データ $\{y_t\}$ に対するARIMAモデルと系列データ $\{z_t\}$ に対するARIMAモデルを組み合わせたモデルをSARIMAモデルと呼び、SARIMA( $p,d,q$ )( $P,D,Q$ ) $[m]$ と表記する。具体的な式の形は ARIMA( $p,d,q$ )に輪をかけて複雑になるので割愛する。興味ある方は下に掲載した参考文献の2を見てほしい。