杨素与杨坚并无亲戚关系，家中也没有跟杨坚建立什么姻亲关系，因此也算不上什么皇室贵族。杨素只能算是隋朝的名门望族，跟皇室贵族还扯不上关系。杨素的出生并不差，也是北朝的士族，但是传到他这一代就没落了。之后，杨素就凭借着家庭给带给他的军事思想以及自己的努力，一步一步坐上了隋朝权势仅次于皇帝的位子。杨素是杨坚非常倚重的臣子，他们虽然是一个姓的，却没有什么血缘上的关系，杨素也不是隋朝的皇室贵族，所以不需要在血亲关系上深究，他们之间主要还是君臣关系，相互利用，共谋利益。