Le château a été construit en 1350 par Dirk van Herlaer le long de la rivière Maas. Ammersoyen était un château unique car il était construit selon un plan fixe, ce qui n'était pas le cas des autres châteaux construits à cette époque. La conception comprenait quatre ailes qui étaient construites autour d'une cour centrale. Chaque coin avait sa propre tour lourde pour une protection supplémentaire. Le château comprenait une guérite et était à l'origine entouré de douves. À l'époque, c'était l'une des meilleures structures défensives du pays. En 1386, le château a été perdu par le duc de Gueldre qui l'a donné à son fils illégitime. Il a ensuite vendu le château en 1424 à Johan van Broekhugen, seigneur de Waarenburg. Pendant les quatre cents années suivantes, le château n'a changé de mains que par héritage. Au cours de l'histoire, le château a été assiégé à plusieurs reprises, notamment en 1513 et 1574. Le château a subi les plus grands dommages en 1590, lorsque le propriétaire du château, Joris van Arkel, est mort de ses blessures. Après sa mort, le château est tombé en ruine jusqu'au XVIIe siècle, lorsque la famille Van Arkel a finalement réuni assez d'argent pour le restaurer. Thomas van Arkel a payé 7 000 florins aux Français pour sauver le château en 1672, lorsque la France a envahi la Hollande et brûlé de nombreux châteaux sur son passage. Le château a peut-être survécu, mais Thomas est resté endetté et n'a jamais pu terminer les rénovations du château. Après sa mort, le château a été hérité par une autre famille. Le château a ensuite été vendu à l'Église catholique romaine en 1876 et a été utilisé comme couvent. Pendant la Seconde Guerre mondiale, le château a servi d'abri aux habitants du village. Une fois la guerre terminée, le château a été utilisé comme salle des fêtes jusqu'à son acquisition par le Gelderland Castle Trust à la fin des années 1950. Il a depuis été restauré pour retrouver sa gloire médiévale d'antan.