Местность, которая окружает Кардифф, была подарена роду де Клэр Вильгельмом после завоевания Англии. Но де Клэр были одними из Лордов Границы, которые видели смысл в укреплении земель, лежащих на далеком расстоянии от непокоренного коренного Уэльса. Лишь объединение Уэльса принцем Ллевелином стало моментом, когда они задумались об угрозе и строительстве замка. Но в то время, как решение было принято, Гилберт де Клэр, граф Глочестер и Хертфорд, организовал в Каэрфили в 1268 году большое по масштабам строительство концентрического замка
Через два года был возведен замок площадью тридцать гектаров. Он стал вторым на британских островах по своим размерам после Виндзора. Для защиты замка были использованы самые новые фортификационные достижения.
В 1270 и 1271 годы замок успешно отразил атаки войск Ллевелина, после чего не участвовал более в уэльских войнах Эдуарда I.
После того, как умер сын Гилберта де Клэра, замком стал владеть фаворит короля Эдуарда II, Хью Деспенсер. Когда против него начала войну королева Изабелла совместно со своим любовником Роджером Мортимером и выиграла некоторые сражения, он решил укрыться в замке Каэрфили. Но во время осады замка, король сбежал и оставил в замке весь гардероб и казну. Но Изабелла продолжала осаждать замок, который сдался спустя четыре месяца.
Еще одно важное событие в истории замка – его захват Оуэйном Глиндуром в начале XV века. После чего он был лишь административным центром.
После событий Гражданской войны Кромвель приказал разрушить замок, но этого не случилось. Постройка потребовала слишком много пороха для подрыва, поэтому разрушены были лишь участки стены и некоторые башни.