Dia kemudian berangkat ke Portugal setelah 1755 gempa Lisbon
, bepergian di "Hanover", yang ditangkap oleh bajak laut Perancis. Dia dipenjara di Brest selama enam hari sebelum dipindahkan ke penjara lain di pantai Perancis. Dia kemudian ditukar dengan seorang perwira Prancis yang ditahan oleh Inggris, dan dia dengan cepat pergi ke Commissioners of Sick and Wounded Seamen di London untuk mencari bantuan atas nama rekan-rekan tawanan. Dipercaya secara luas bahwa pengalaman pribadi ini menghasilkan minat Howard dalam penjara.