今のところ解決策わからず。
ファイルシステム上の.Xauthority が何らかまずい感があるが、解決策不明。

しかたがないのでホーム共有を諦める。

ちなみに、server版というかguiがなければ大丈夫っぽい。
もしかしたらserver版でvncをあげようとするとコケるのかもしれないけど未検証。