Първият замък на това място, замъкът Норман МОТ и Бейли, е споменат през 1148 г.като собственост на семейство Бигод. Той е разрушен през 1174 г.по заповед на крал Хенри втори на Англия, защото Хю Бигод, 1-ви граф на Норфолк, се е присъединил към въстание за сваляне на краля. През 1189 г.Хенри е наследен от Ричард Първи от Англия и синът на Хю, Роджър, 2-ри граф на Норфолк, си възвръща кралското благоволение. Той след това за изграждане на настоящия замък, който е завършен през 1213. Замъкът фрамлингам е необичаен за времето си, тъй като няма централна крепост, а вместо това използва завеса с 13 стенописни кули, за да защити вътрешния замък. По време на първата Баронова война през 1215 г.Роджър застава на страната на фракция от бунтовнически барони, които се противопоставят на управлението на крал Джон. През 1216 г. замъкът е превзет от Кралските сили. Няколко години по-късно замъкът е върнат на Бигодите. През 1270 г.5-ти граф на Норфолк, също Роджър Бигод наследява замъка и предприема обширни ремонти там, докато живее в значителен лукс и стил. В резултат на това той води баронска опозиция срещу искането на Едуард за допълнителни данъци и подкрепа за френските войни. Едуард отговаря, като конфискува земите на Роджър и ги освобождава само при условие, че Роджър ги даде на короната след смъртта си. Роджър се съгласява и Фрамлингамският замък преминава към короната при смъртта му през 1306 г. До края на 13 век в замъка е построен голям затвор. През 14 век Фрамлингамският замък е даден на Томас от Брадъртън, граф на Норфолк. По-късно същия век замъкът преминава към семейство Уфорд, които са графове на Съфолк, а по-късно към Томас де Моубрей, херцог на Норфолк. Моубрай изглежда са използвали Фрамлингамския замък като основно седалище на властта през по-голямата част от 15 век. През 1476 г. замъкът преминава в ръцете на Джон Хауърд, херцог на Норфолк. Под Хауард замъкът е широко модернизиран и модерни тухли са използвани за подобрения. През 1485 г., в края на войната на розите, Фрамлингамският замък е конфискуван от короната, само за да бъде върнат на Томас Хауърд, 2-ри херцог на Норфолк, през 1513 г. Томас прекарва пенсионирането си тук и през това време замъкът е скъпо декориран в пищен стил. 3-ти херцог на Норфолк, наричан още Томас, използва много по-малко замъка и ремонтите на замъка изглежда са били минимални от 1540-те години нататък. През 1553 г. Мери събира силите си при замъка Фрамлингам, преди успешно да се отправи към Лондон. След това замъкът бързо се сринал. Замъкът започва да се използва като затвор от 1580 г.и до 1600 г. затворът на замъка съдържа 40 затворници. До 1613 г. Замъкът фрамлингам е изоставен. През 1636 г.Той отива в Пемброук Колидж чрез наследство с условието, че всички сгради вътре трябва да бъдат разрушени и заменени от приют за бедни. В замъка са използвани три приюти, като последната е затворена през 1839 г. По-късно е използвана като зала за тренировки, окръжен съд, както и като място за местния енорийски затвор и складове. По време на Втората световна война е използван от британските военни като част от регионалната защита срещу потенциална германска инвазия. Понастоящем Замъкът Фрамлингам е собственост на английското наследство.