다른 개념입니다. 모수는 매개변수에 포함됩니다.
모수는 모집단의 확률구조를, 매개변수는 수식모델의 구조를 표현합니다.
매개변수(parameter)는 모수보다 더 넓은 개념으로 일반적인 수식모델의 구조를 설명합니다.
모수(parameter)는 수식모델인 확률–통계모델의 매개변수 중에서 모집단 확률구조를 규정하는 매개변수입니다.
서양에서는 모수와 매개변수가 모두 parameter로 같지만, 동양에서는 모수와 매개변수로 나뉘어 번역되었습니다.
모수는 모집단(population)의 특성을 나타내는 값이며, 매개변수는 수식적 모델(model)의 구조를 결정하는 값입니다.
모수를 statistical parameter 또는 population parameter로, 매개변수를 model parameter로 번역하기도 합니다.
모수(statistical parameter)는 모집단의 확률적 특성을 나타내는 값입니다. 즉, 현실 세계의 확률구조를 수학적으로 표현하는 값으로, 정규분포의 평균과 분산, 모집단의 비율이나 상관계수 등이 대표적인 예입니다. 모수는 실제로는 알 수 없는 모집단의 고정된 성질을 의미하며, 표본 데이터를 이용하여 추정하게 됩니다.
모집단의 확률구조는 다음과 같이 표현됩니다.
$$
Y \sim f(y;\,\theta),\quad \theta \in \Theta
$$
예를 들어 정규분포모델이라면 다음식으로 표현할 수 있습니다.
$$
Y \sim \mathcal{N}(\mu,\sigma^2)
$$
매개변수(parameter)는 수식이나 모델의 형태를 결정하는 값으로서, 모델이 데이터를 어떻게 설명하거나 예측할지를 조정하는 역할을 합니다. 예를 들어, 회귀식의 계수나 인공지능 모형의 가중치(weight)와 편향(bias), 또는 커널밀도추정에서의 대역폭과 같은 값이 이에 해당합니다. 이러한 매개변수는 모델의 구조와 작동 방식을 조절하기 위한 값이며, 모델 내부에서 학습이나 최적화를 통해 결정됩니다.
수식적 모델이나 기계학습 모델에서는 모델 형태를 결정하는 값으로서 매개변수를 사용합니다.
$$
\hat{y} = f(x;\,w)
$$
예를 들어, 다음의 선형회귀모델식에서의 $\beta_0$와 $\beta_1$은 데이터를 가장 잘 맞추도록 결정되는 매개변수입니다. 즉, 통계적 모집단을 전제로 하지 않아도 되는 매개변수입니다.
$$
\hat{y} = \beta_0 + \beta_1 x
$$
회귀계수($\beta$)는 대표적으로 모수와 매개변수로 동시에 취급되는 대표적인 수입니다. 회귀계수는 그 모델을 어떻게 해석하느냐에 따라 위치가 달라집니다.
회귀계수($\beta$)는 통계학적 회귀모델, 즉 모집단의 확률구조를 전제로 한 확률–통계모델에서는 회귀계수($\beta$)가 모수(parameter)에 해당합니다. 이 경우 회귀계수는 모집단에서의 평균적 관계를 나타내며, 표본으로부터 추정되는 대상입니다.
$$
Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i, \quad \varepsilon_i \sim \mathcal{N}(0, \sigma^2)
$$
위 식을 일반형으로 표현하면 다음식과 같습니다.
$$
Y \sim f(y;\,\theta), \quad \theta = (\beta_0, \beta_1, \sigma^2)
$$
여기서, $\theta$는 회귀계수이며 모수
한편, 기계학습이나 예측 중심의 모델링처럼 모집단을 전제하지 않고 단순히 데이터의 관계를 근사하기 위한 회귀식에서는, 회귀계수($\beta$)가 매개변수(parameter)로 사용됩니다. 이 경우 $\beta$는 모델의 형태를 조정하기 위한 내부 값으로서, 모델이 데이터를 가장 잘 설명하도록 학습을 통해 결정됩니다.
$$
\hat{y} = f(x;\,\omega)
$$
위 식을 선형모델의 형태로 쓰면 다음식과 같습니다.
$$
\hat{y} = \omega_0 + \omega_1 x
$$
여기서, $\omega = (\omega_0, \omega_1)$는 회귀계수 또는 가중치이며 매개변수
정리하면, 회귀계수($\beta$)는 확률-통계모델에서는 모수로, 모집단을 전제하지 않은 수식적 모델에서는 매개변수로 해석됩니다.
매개변수는 모델의 수식 구조를 결정하는 가장 넓은 개념입니다. 모수는 그중에서도 확률–통계모델의 모집단 확률구조를 나타내는 매개변수입니다. 따라서, 모수는 확률–통계모델의 매개변수이며, 매개변수는 모수를 포함하는 더 큰 개념입니다.
$$
\text{모수} \subset \text{매개변수}
$$
확률-통계모델은 다음식으로 표현됩니다.
$$
\mathcal{M} = \{ f(y;\,\theta) : \theta \in \Theta \}
$$
여기서, $\theta$가 모집단의 확률구조를 나타내면 $\theta$는 모수
$\theta$가 모델의 형태를 결정하면 $\theta$는 매개변수
Table 1. 모수와 매개변수 비교
| 관점 | 매개변수 (statistical parameter) | 모수 (population parameter) |
|---|---|---|
| 일반적 의미 | 모델의 구조를 결정하는 모든 값 | 모집단의 확률구조를 결정하는 값 |
| 범위 | 넓음 (모든 수식 모델) | 좁음 (확률–통계모델 내부) |
| 예시 | 회귀계수, 신경망 weight, 커널폭, 링크계수 등 | 정규분포의 $$\mu, \sigma^2$$, 회귀모형의 모집단 $$\beta$$ |
| 추정 대상 | 모델 적합 (learning, optimization) | 모집단 추정 (inference, estimation) |
| 소속 | 수학적·모델적 개념 | 확률-통계적 개념 |
Table 2. 모수와 매개변수 모델 예시로 보는 모수와 매개변수 관계
| 모델 | 모수 | 매개변수 |
|---|---|---|
| 정규분포 $Y \sim \mathcal{N}(\mu,\sigma^2)$ | $\mu, \sigma^2$ | 모수는 매개변수 |
| 회귀모델 $Y = X\beta + \epsilon$ | $\beta, \sigma^2$ | 모수는 매개변수 |
| 로지스틱 회귀 $\log \dfrac{p}{1-p} = X\beta$ | $\beta$ | 모수는 매개변수 |
| 커널회귀 $\hat{f}_h(x) = \sum K\bigl((x – x_i)/h\bigr)$ | 모수 없음 | $h$ |
| 신경망 $f_\theta(x)$ | 모수 없음 | $\theta = \{W, b\}$ |