Замъкът е построен през 1350 г.от Дирк ван Херлаер по поречието на река Маас. Амерсоен е уникален замък, тъй като е построен по фиксиран план, за разлика от други замъци, построени през тази епоха. Дизайнът включва четири крила, които са построени около централен двор. Всеки ъгъл има собствена тежка кула за допълнителна защита. Замъкът включва портална къща и първоначално е заобиколен от ров. По това време тя е една от най-добрите отбранителни структури в страната. През 1386 г. замъкът е загубен от херцог на Гелдерланд, който го дава на незаконния си син. След това той продава замъка през 1424 г.на Йохан Ван Брухуген, Лорд на Вааренбург. През следващите четиристотин години замъкът разменя ръцете си само чрез наследство. През цялата история замъкът е обсаждан няколко пъти, като 1513 и 1574 са някои от по-забележителните събития. Замъкът претърпява най-много щети през 1590 г., когато собственикът на замъка Йорис ван Аркел е убит от нараняванията си. След смъртта му замъкът е разрушен до 17-ти век, когато семейство Ван Аркел най-накрая събира достатъчно пари, за да възстанови замъка. Томас ван Аркел плаща на французите 7000 гулдена, за да спасят замъка през 1672 г., когато Франция помита Холандия и изгаря много замъци по пътя си. Замъкът може да е оцелял, но Томас остава в дългове и никога не успява да завърши ремонта на замъка. След смъртта му замъкът е наследен от друго семейство. След това замъкът е продаден на Римокатолическата църква през 1876 г.и е бил използван като манастир. По време на Втората световна война замъкът е бил използван като подслон за жителите на селото. След края на войната замъкът е бил използван като кметство, докато не е бил закупен от замъка в Гелдерланд в края на 1950-те години. оттогава е възстановен до бившата си средновековна слава.