Une maison en forme de galère
D'abord simple bâtiment quadrangulaire qualifié de maison forte, abritant occasionnellement la prison et l'atelier monétaire des comtes de Genève, le bâtiment désigné aujourd'hui comme Palais de l'Ile, est un monument original du Moyen-âge, construit sur une île rocheuse naturelle.
La maison forte est citée pour la première fois en 1325, quand le châtelain paye Jean de Monthoux, seigneur de l'Isle, pour la nourriture de deux prisonniers.
En 1355, le comte Amédée III de Genève obtient de l'empereur Charles IV du Saint-Empire « le droit de monnayer l'or et l'argent sur ses terres ». Une campagne de construction aménage un atelier monétaire, qui cesse de fonctionner dès la fin du XIVe siècle.
La famille de Genève s'éteint. Annecy et le Genevois étant rattachés au duché
de Savoie, le duc Amédée VIII donne la maison en fief à la famille de Monthoux.
A la fin du XVIe s., la maison, qui abrite dès lors le tribunal, prend l'appellation définitive de Palais de justice de l'Ile.
A partir du XVIIIe s., l'édifice est affecté à des fonctions administratives, tout en conservant sa fonction principale de prison jusqu'en 1864. Une nouvelle maison d'arrêt est alors construite et le Palais de l'Ile devient asile de vieillards de 1865 à 1880.
A cette époque, la démolition du Palais, pour l'installation de bains, est envisagée par le conseil municipal d'Annecy, puis abandonnée. L'édifice sert momentanément d'école de dessin, pour des tailleurs de pierres et charpentiers, de salle de gymnastique et d'hébergement.
Les voix d'André Theuriet, romancier et de Charles Suisse, inspecteur des Monuments historiques s'élèvent alors pour dénoncer le projet de démolition. Le 16 février 1900, le Palais de l'Ile est classé monument historique. Un premier chantier de restauration est aussitôt mis en place. La dernière campagne de travaux de restauration date de 1983-1985.