Первоначально замок был построен в 1350 году Дирком ван Херлаером вдоль реки Маас. Аммерсоен был уникальным замком, поскольку он был построен по фиксированному плану, который отличался от других замков, построенных в эту эпоху. Проект включал в себя четыре крыла, которые были построены вокруг центрального корта. В каждом углу была своя тяжелая башня для дополнительной защиты. Замок включал в себя сторожку и первоначально был окружен рвом. В то время это было одно из лучших оборонительных сооружений в стране. В 1386 году замок был потерян герцогом Гелдерландским, который передал замок своему незаконнорожденному сыну. Затем в 1424 году он продал замок Йохану ван Брокхугену, лорду Вааренбурга. В течение следующих четырехсот лет замок переходил из рук в руки только по наследству. На протяжении всей истории замок несколько раз подвергался осаде, наиболее заметными событиями были 1513 и 1574 годы. Больше всего замок пострадал в 1590 году, когда владелец замка Йорис ван Аркель был убит от полученных травм. После его смерти замок пришел в упадок вплоть до 17 века, когда семья Ван Аркель наконец собрала достаточно денег, чтобы восстановить замок. Томас ван Аркель заплатил французам 7000 гульденов за спасение замка в 1672 году, когда Франция пронеслась по Голландии и сожгла по пути множество замков. Замок, возможно, и уцелел, но Томас остался в долгах и так и не смог закончить реконструкцию замка. После его смерти замок унаследовала другая семья. Затем в 1876 году замок был продан Римско-католической церкви и использовался как женский монастырь. Во время Второй мировой войны замок использовался в качестве убежища для жителей деревни. После окончания войны замок использовался в качестве сельской ратуши, пока в конце 1950-х годов его не приобрел фонд замка Гелдерланд. С тех пор он был восстановлен в своем былом средневековом великолепии.