밀레의 첫 작품이었던 초상화가 1840년 파리 살롱에 전시되게 되자, 밀레는 셰르부르로 돌아가 초상화가로 개업하게 되었다. 이듬해 폴린 비르지니 오노와 결혼하였으나 생활이 어려워 다시 파리에 나와 간판·미인화 등을 그려 생활해 나갔다. 1843년 파리 살롱에서 작품 전시를 거절당하고 아내인 폴린이 폐병으로 죽자, 밀레는 셰르부르로 다시 돌아갔다. 1845년 그는 카트린 르메르와 함께 르아브르로 이사하여 1853년 결혼식을 올렸다. 그들은 9명의 자식을 갖게 되었고 이후 그녀는 밀레의 여생 동안 함께 살게 된다.[3] 르아브르에서 그는 초상화 작품이나 풍속화들을 그리면서 몇 달간을 보내다가 다시 파리로 이사를 가게 되었다.
밀레는 폴린과 9명의 자식을 낳았다.