Kvist blev teologisk kandidat i [[1984]] fra [[Københavns Universitet]]. Han blev herefter præst ved Ryslinge Frimenighed frem til [[1993]].
Mellem [[1993]] og [[1998]] var Kvist forstander på [[Askov Højskole]], hvorefter han blev ansat som præst i Herning og Gjellerup Valgmenigheder.
Fra [[2003]] til [[2010]] var han medlem af [[Det Etiske Råd]].
Kvist var også engageret i det senere nedlagte Islamkritisk Netværk i Folkekirken.<ref>{{Cite news
 | title = Højskolemanden i Det Etiske Råd
 | author = [[Line Vaaben]]
 | work = [[Kristeligt Dagblad]]
 | date = 23. oktober 2009
 | url = https://www.kristeligt-dagblad.dk/mennesker/h%C3%B8jskolemanden-i-det-etiske-r%C3%A5d
}}</ref><ref name="Minister får skarp kritik for kontroversielt valg af præst til Folketingsgudstjeneste">{{Cite news
 | author = Rikke Gjøl Mansø
 | title = Minister får skarp kritik for "kontroversielt" valg af præst til Folketingsgudstjeneste
 | publisher = DR
 | date = 20. september 2018
 | url = https://www.dr.dk/nyheder/politik/minister-faar-skarp-kritik-kontroversielt-valg-af-praest-til-folketingsgudstjeneste
}}</ref>
Levende_personer Personbillede_savnes