潘岳的父親與楊仲武的祖父是舊交，而潘岳的妻子是楊仲武的姑母，所以兩人屬於世親聯姻的關係。語本後人即稱姻親關係為「潘楊之睦」。