Le premier château d’Aumale fut construit en l’an mille par son premier seigneur : Guérinfroy.
A partir de 1642, le Duc de Nemours et d’Aumale fait bâtir un château sur les ruines du château féodal, détruit par Charles le Téméraire en 1472. De cet édifice, aujourd’hui occupé par la maison de retraite, il reste le porche d’entrée, un pavillon à droite avec un escalier à vis et le corps de garde.
