Gaussian_process

GP

高斯过程是定义在连续域（时空）上的无限多个高斯随机变量所组成的随机过程

对于时间轴上的序列 ξ_t，对于 ∀n ∈ ℕ⁺, t_i ∈ T，有 ξ_{t1 − tn} ∼ 𝒩(μ_{t1 − tn}, Σ_{t1 − tn})，那么 {ξ_t} 是一个高斯过程。

t_i index

ξ_i ∼ GP(m(t), k(t, s)) random value

高斯过程存在性定理

设 𝒯 为任意指标集（如 ℝ^d 或时间集合），给定：

• 一个均值函数 m : 𝒯 → ℝ，
  
• 一个对称函数 k : 𝒯 × 𝒯 → ℝ，

如果对于任意有限个点 t₁, t₂, …, t_n ∈ 𝒯，由 k 生成的 n × n 矩阵
K_ij = k(t_i, t_j) 是 半正定（positive semi-definite, PSD）的，
则存在一个定义在 𝒯 上的概率空间上的 高斯过程 {X_t}_{t ∈ 𝒯}，使得：

• 𝔼[X_t] = m(t)，
  
• Cov(X_ti, X_tj) = k(t_i, t_j)。

定义一个高斯过程，你不需要去具体描述一个无限长的随机向量或一个完整的随机函数。只需要指定：均值函数和协方差函数。

GPR

weight-space view (关注参数w)

Bayesian LR + kernel method

ϕ : x → z

x ∈ R^p, z ∈ R^q, q > p

prior : w ∼ N(0, Σ_p)

woodbury formula求矩阵的逆 求解 Σ_p

function-space view (f(x))

{f(x)}_x ∈ Rp ∼ GP(m(t), k(t, s))

T_u^rj(y_r) := T_u^ri(y_r) + T_ij(Y_i)