Abergavenny er beliggende ved sammenløbet af floden Usk og en biflod Gavenny. Den er næsten helt omgivet af bjerge og bakker: Blorenge (559 m, 1,834 ft), Sugar Loaf, ((596 m, 1,955 ft), Ysgyryd Fawr (Great Skirrid), Ysgyryd Fach (Little Skirrid), Deri, Rholben og Mynydd Llanwenarth, kendt lokalt som "Llanwenarth Breast". Abergavenny giver adgang til de nærliggende Black Mountains og Beacon National Park. The Offa's Dyke Path er tæt på og Marches Way, Beacons Valley Way og Usk Walk går hele vejen gennem byen.
Sort bjerg