성종이 태어난지 얼마 지나지 않아 아버지 의경세자가 갑자기 사망하면서, 그는 어머니 세자빈 한씨와 함께 궁밖으로 나가게 된다. 조부 세조는 특별히 한씨를 수빈으로 봉하고, 궁궐에 살아도 좋다고 하였으나 한씨는 사저로 물러 앉는다. 어린 나이에도 곤궁한 생활에 대한 불평불만이 없었다 하며, 자신의 속내를 쉽게 드러내지 않았다. 한명회와 신숙주 등은 이점에 착안하여 형인 월산대군 대신 그를 선택하게 된다. 
성종은 월산대군의 동생이다.