Tuliskan kelanjutan untuk paragraf ini - Kastil Middleham dibangun di dekat situs sebuah kastil motte dan bailey sebelumnya, yang disebut William's Hill, situs yang masih dapat dilihat di dekatnya, meskipun tidak ada bukti batu atau struktur pertahanan di bekas situs kastil. Para sejarawan percaya bahwa dinding pertahanan kastil yang asli dibangun dari kayu. Pada tahun 1270, Kastil Middleham yang baru berada di tangan keluarga Neville, anggota yang paling terkenal adalah Richard Neville, Earl Warwick ke-16, yang dikenal sebagai "Kingmaker", tokoh terkemuka dalam Perang Mawar. Setelah kematian Richard, Duke of York, di Wakefield pada bulan Desember 1460, putra mudanya, Richard, Duke of Gloucester, masuk ke dalam perawatan Warwick, dan tinggal di Middleham dengan keluarga Warwick sendiri. Saudaranya Raja Edward IV dipenjara di Middleham untuk waktu yang singkat, setelah ditangkap oleh Warwick pada tahun 1469. Setelah kematian Warwick di Barnet
Pada tahun 1471 dan pemulihan Edward ke takhta, saudaranya Richard menikahi Anne Neville, putri bungsu Warwick, dan membuat Middleham sebagai rumahnya. Anak mereka Edward (dikenal sebagai Edward dari Middleham), juga lahir di kastil sekitar tahun 1476 dan kemudian juga meninggal di sana pada tahun 1484.