Ifølge Billy J. Harbin, Dean havde "et intimt forhold med sin pastor, som begyndte i hans sidste år på gymnasiet og udholdt i mange år". Deres påståede seksuelle forhold blev foreslået i Paul Alexander 1994 bog Boulevard of Broken Dreams: The Life, Times, and Legend of James Dean. I 2011 blev det rapporteret, at Dean en gang betroet Elizabeth Taylor, at han blev seksuelt misbrugt af en præst cirka to år efter sin mors død. Andre rapporter om Dean liv antydede også, at han var seksuelt misbrugt af en lokal metodist præst, Rev. James DeWeerd, der synes at have haft en formende indflydelse på Dean, især på hans fremtidige interesser i tyrefægtning, bil racing og teater.
James Whitmore