Dès le XIe siècle, sur la rive droite de la Vie existe une place forte installée à l’emplacement du château actuel. Son positionnement est parfait, sur un éperon rocheux.
Au XIIIe siècle, un premier château en pierre est construit. La poterne est encore visible aujourd’hui.
Au XIVe siècle, l’enceinte fortifiée est renforcée côté nord. Le châtelet d’entrée, les tours et les courtines nord datent de cette période de construction.
Au XVIème siècle, Philippe Chabot de Brion hérite du château. Ami d’enfance de François Ier, il est nommé amiral de France en 1525.
Il décide alors de transformer l’ancienne forteresse médiévale, en un château d’apparat, au goût du jour. Il fait ainsi bâtir un large logis flanqué de deux tours rondes, au style architectural propre à la première Renaissance française.
À ne pas manquer : l’impressionnante rampe cavalière.
Creusée en partie dans le rocher, elle permettait de mettre en scène l’arrivée des invités au château, les faisant passer des rives de la Vie au perron situé 15 mètres plus haut.
En 1542, Philippe Chabot de Brion échange la baronnie d’Apremont avec Jean de Brosse. Celui-ci commande à un ingénieur le Rouleau d’Apremont (dont une reproduction est visible dans la chapelle) destiné à prévoir le développement d’un port au pied du château et la canalisation de la Vie. Ce projet ne verra pas le jour.
Au XVIIe siècle, la famille de la Trémoïlle vit au château et y réalise des aménagements pour le mettre au goût du jour. Elle accueille Louis XIII, de retour de la Bataille de L’île de Riez, en 1622.
Le logis sera malheureusement démonté pierre par pierre au milieu du XVIIIème siècle, mais les tours et la chapelle seront préservées.
Aux XIXème et XXème siècle, différents bâtiments de ferme vont être construit à l’intérieur de l’enceinte médiévale.
A la fin des années 60, la commune d’Apremont reçoit le château en legs de Monsieur et Madame Georges Thebault. La mairie s’y installera jusqu’en décembre 2019.
Depuis janvier 2020, la gestion du site a été confié à la Communauté de communes Vie et Boulogne.