潘岳的父亲与杨仲武的祖父是旧交，而潘岳的妻子是杨仲武的姑母，所以两人属于世亲联姻的关系。语本后人即称姻亲关系为「潘杨之睦」。