统计学习精要 (Elements of Statistical Learning ) 习题 5.9
Derive the Reinsch form
Sλ=(1+λK)−1
for the smoothing spline.
思路：
按照课本154页的（5.18）,
minf(y−f)T(y−f)+λfTKf
, 其解是
f̂ =(I+λK)−1
。 替换
f=Nθ
，罚项变为
θTΩNθ
，则变为（5.11），解为（5.14）的
f̂ =Sλy
。因此可以得到
S=(I+λK)−1
。
课本154页还提到了
K
does not depende on λ. 这里推一下
K
的解析形式。
根据（5.14），Sλ=N(NTN λΩn)−1NT。 根据Matrix inversion lemma,
(A+UCV)−1=A−1−A−1U(C−1+VA−1U)−1VA−1
令
A=λΩN
,
U=NT
,
V=N
,
C=I
，则
(NTN+λΩn)−1=λ−1Ω−1N−λ−1Ω−1NNT(I+Nλ−1Ω−1NNT)−1Nλ−1Ω−1N
.
替换
B=λ−1NΩ−1NNT
，代入则得
Sλ=B−B(I+B)−1B
代入
Sλ(I+λK)=I
，可得
B+λBK=B(I+B)−1(B+λBK)+I
当
λBK=I
，等式成立，因此
K=λ−1B−1=(NΩ−1NNT)−1
所以
K
确实和
λ没有瓜葛。
