La maison que l'on nomme « le Colombier » devrait s'appeler Maison Tournon, nom de la famille qui
l'habita pendant plusieurs générations. Elle faisait partie d'une seigneurie, démembrée en 1588, désignée: seigneurie du Colombier, comprenant un château, cité dès 1290, appelé : clos
du Colombier et appartenant à Jean du Vernay. Par mariage, il passe au Maréchal d'Apinac, de la grande famille Maréchal de St-Priest d'Urgel (seigneurs de
St-Etienne).
On peut voir dans l'église la pierre tombale de Guicharde d'Albon, femme de Pierre d'Apinac, décédée le 14/09/1573. Cette famille restera propriétaire de cette seigneurie jusqu'en 1588, date à laquelle elle est scindée en plusieurs lots.
Le clos, son château, ses moulins, l'étang de Rozet, le bois de Rachasset, et bien d'autres terres deviennent propriétés de
la famille Livet, un riche bourgeois lyonnais et montbrisonnais qui, sans enfant, légua ses biens à son neveu Pierre de Fournier, issu du vieux château de Fournier près de
St-Nizier de Fornas (ce château, encore en très bon état, ressemble comme deux doigts de la main à la Maison Tournon).
La maison Tournon est achetée par le notaire Claude de Tournon qui devient capitaine-châtelain de la ville et représente, par cette fonction, le roi, depuis que le Comte-Duc de Forez, le connétable de Bourbon convaincu de trahison par François 1°en 1536 fut délesté de ses biens au profit de la couronne.
Les deux propriétaires, Claude de Tournon et Claude Livet, font quelques concessions pour s'entendre : Livet donnant l'autorisation à Tournon de faire passer les égoûts de sa maison dans son clos.
N'oublions pas que devant la porte de la maison Tournon, un chemin de 3 mètres de large environ, suivait les fossés de la ville, fossés qui, par leur largeur dans cette partie, étaient nommés douves et se trouvaient alimentés par un bief, le béal comtal, appartenant à Livet. Qui n'avait pas de droits d'eau sur ces fossés ne pouvait ni prendre ni rejeter l'eau. Nous avons retrouvé dans les archives De MAZENOD un acte de 1403, traduit du latin en 1650, et précisant les droits de chaque riverain. Les douves étaient affermées pour les poissons qu'on y élevait.
Pendant que le clos du Colombier passe par mariage des de Fournier aux de Chavagnac, la
maison Tournon se fait une beauté. Jean de Tournon la transforme en une gentilhommière avec galerie à colonnes, plus bastide cévenole que loge toscane, et une tourelle d'escalier sur plan
hexagonal avec, en légère saillie, un couronnement de colombage rempli de briques. Un pigeonnier modeste justifie et rappelle le nom de la seigneurie. Le mur de clôture porte un chemin de ronde
bordé d'un parapet à crête de merlons ornementaux, dés coiffés de petites pyramides et alternant avec des créneaux taillés à deux pans, rejetant l'eau de part et d'autre du faîte. Surplombant
l'arceau en plein cintre du portail d'entrée, un hourd, gracieux édicule où jouent les teintes passées des pierres de chaînage et de briques, prend appui sur six mâchicoulis s'abritant sous une
toiture à quatre pans. Gravée dans la pierre, la date de 1636 paraît indiquer la réalisation des travaux ; cette date est aussi celle du décès de Jean de Tournon. Avait-il eu le temps de terminer
ses travaux ou est-ce son fils Charles qui, déjà marié à Françoise Garet (fille du notaire Garet) depuis plus de 10ans, jouait au maître d'oeuvre ?
Au XVIII° Siècle, le Clos du Colombier passe, toujours par mariage, des de Chavagnac aux
d'Espinchal.
La famille de Tournon fait régner l'ordre au XVII° Siècle dans la région. Charles et Jean-Baptiste,
notaires, capitaine-châtelain, maître fileur de soie sont présents dans tous les milieux de la bourgeoisie, alliant leurs enfants aux chirurgiens, hommes de loi et autres bourgeois de la
ville, prêtant de l'argent sur hypothèque à qui veut acheter, tenant ainsi le peuple à leur merci. L'autre frère, Jean de Tournon,
prêtre de Sury le Comtal se fait remarquer par sa violence envers ses ouailles, violences qui le conduisirent à un procès retentissant.
A la Révolution, le clos du Colombier et les biens de Joseph-Thomas d'Espinchal, émigré, sont confisqués et vendus aux enchères : le château, ses bâtiments et fossés pour 6.260 livres. Le lot de 3 moulins, dont
une papeterie située dans le Clos du Colombier, 40 hectares de terres et un étang pour 18.975 livres et d'autres bâtiments et terres pour la somme de 26.554 livres. Le clos du Colombier est
acheté par un marchand d'uniformes pour les armées de la jeune République : Claude Touilleux, proche du conventionnel Javogues.
La maison Tournon va passer par mariage aux de Mazenod : Jeanne de Tournon avec Charles de Mazenod, seigneur de Pavezin et de la Chance en 1672.
La famille de Mazenod y vivra, recevant leur cousin au XIX° Siècle, évêque de Marseille, Monseigneur de Mazenod, canonisé depuis, et constructeur de Notre-Dame-de-la Garde.
Joseph-Thomas d'Espinchal revint au village sous le premier Empire croyant récupérer ses biens. Débouté il rentra dans ses terres d'Auvergne.
Les héritiers Touilleux vendirent le Clos du Colombier, les moulins et certaines terres que Mr Félix de Mazenod acheta. Sur l'emplacement du vieux château ruiné il en fit construire un neuf, en 1839, toujours habité par ses descendants. La maison Tournon n'étant plus la résidence familiale, il en fit un hospice pour indigents. Au XX° Siècle, l'héritier de Mazenod vendit la bâtisse à deux antiquaires, puis la demeure devint un restaurant réputé. De nos jours elle abrite des logements particuliers.
La maison Tournon, appelée à tort Manoir du Colombier, construite sur les dépendances du château du Colombier détruit au début du XIX° Siècle. Sur les ruines du château du Colombier fut édifié en 1839 la demeure actuelle de la famille De Mazenod.