Первый замок на этом месте, нормандский замок мотт и Бейли, был упомянут в 1148 году как принадлежащий семье Бигод. Он был разрушен в 1174 году по приказу английского короля Генриха II, потому что Хью Бигод, 1-й граф Норфолк, присоединился к восстанию с целью свержения короля. В 1189 году Генриху наследовал Ричард I Английский, а сын Хью, Роджер, 2-й граф Норфолк, вернул себе королевскую милость. Затем он приступил к строительству нынешнего замка, строительство которого было завершено в 1213 году. Замок Фрамлингем был необычен для того времени тем, что не имел центральной крепости, а вместо этого использовал навесную стену с 13 настенными башнями для защиты внутреннего замка. Во время Первой войны баронов в 1215 году Роджер встал на сторону группировки мятежных баронов, выступавших против правления короля Джона. В 1216 году замок был взят королевскими войсками. Несколько лет спустя замок был возвращен Бигодам. В 1270 году 5-й граф Норфолк, также Роджер Бигод, унаследовал замок и провел там обширную реконструкцию, живя в значительной роскоши и стиле. Роджер был по уши в долгах у короля Эдуарда I. В результате Роджер возглавил баронскую оппозицию против просьбы Эдуарда о дополнительных налогах и поддержке его французских войн. Эдуард ответил захватом земель Роджера и освобождением их только при условии, что Роджер передаст их короне после своей смерти. Роджер согласился, и замок Фрамлингем перешел к короне после его смерти в 1306 году. К концу 13 века в замке была построена большая тюрьма. В 14 веке замок Фрамлингем был передан Томасу Бразертону, графу Норфолку. Позже в том же столетии замок перешел к семье Аффордов, которые были графами Саффолка, а затем к Томасу де Моубрею, герцогу Норфолку. Моубреи, похоже, использовали замок Фрамлингем в качестве своего главного центра власти на протяжении большей части 15-го века. В 1476 году замок перешел к Джону Говарду, герцогу Норфолку. При Говардах замок был значительно модернизирован, и для улучшений использовался модный кирпич. В 1485 году, в конце Войны Алой и Белой розы, замок Фрамлингем был конфискован короной, но в 1513 году был возвращен Томасу Говарду, 2-му герцогу Норфолку. Томас провел здесь свою пенсию, и за это время замок был богато украшен в роскошном стиле. 3-й герцог Норфолк, также называемый Томасом, гораздо меньше пользовался замком, и ремонт замка, по-видимому, был минимальным с 1540-х годов и далее. В 1553 году Мария I Английская собрала свои войска в замке Фрамлингем, прежде чем успешно двинуться на Лондон. После этого замок быстро пришел в упадок. С 1580 года замок стал использоваться в качестве тюрьмы, а к 1600 году в замковой тюрьме содержалось 40 заключенных. К 1613 году замок Фрамлингем лежал заброшенный. В 1636 году он перешел к Пембрук-колледжу по наследству с условием, что все здания внутри должны быть снесены и заменены богадельней. Три последующих богадельни использовались внутри замка, последняя из которых была закрыта в 1839 году. Позже он использовался как тренировочный зал, окружной суд, а также как местная приходская тюрьма и склады. Во время Второй мировой войны он использовался британскими военными как часть региональной обороны от потенциального немецкого вторжения. В настоящее время замок Фрамлингем принадлежит Английскому наследию.