El Castillo de Benedormiens, origen del pueblo de Castell d'Aro, aparece documentado por primera vez en el año 1041, cuando las autoridades religiosas, los nobles y caballeros del territorio entregan al monasterio de Sant Feliu de Guíxols la custodia del castillo con el ' obligación de proteger de los ataques de los musulmanes todo el Vall d'Aro.
Alrededor del castillo se va formando el pueblo, mientras que las masías más alejadas se fortifican e incluso edifican torres de defensa. En 1462, el castillo es incendiado con motivo de la guerra de los Remenses. Una explosión accidental destruye la fortaleza en 1879. En 1970, el Ayuntamiento, propietario del castillo, encarga la primera restauración. Se conserva su parte más antigua, del siglo XII, que es la más cercana a la iglesia. En 1983, las salas del castillo se habilitan para realizar exposiciones.
En 1995, el casco antiguo de Castell d'Aro (configurado por las calles del Carme, Hospital, Castell, Sol y Major; la iglesia parroquial de Santa Maria, la plaza del mismo nombre, y el mismo Castell de Benedormiens) es declarado oficialmente «Bien Cultural de Interés Nacional», por la Generalidad de Cataluña.