La iglesia de San Miguel es en una construcción que data de finales del siglo XIII y principios del XIV.
Cumplió con su función de iglesia hasta la llegada de las Guerras Carlista, cuando el edificio fue usado como caserna militar. Es a partir de este momento cuando la población fragatina comienza a llamarlo Castell.
Durante las primeras décadas del siglo XX, el pintor Miguel Viladrich fijó aquí su residencia.
En la actualidad, la antigua iglesia gótica ha sido envuelta por una nueva construcción obra del arquitecto José Manuel Pérez Latorre, con el fin de preservarla a la vez que adaptarla a nuevos usos.