Le 3 septembre 1858, le maire répond aux conseillers qui ne sont pas d'accord pour inscrire une indemnisation dans l'affaire PINASSAUD et qui demandent à ce que ce soit le maire qui paie. Il demande au secrétaire de séance, Louis PELTON, d'inscrire sa réponse mais ce dernier refuse. Il inscrit donc lui même que : <<PELTON est la cause de la division dans le conseil>>.
Le 22 juillet 1861, CASTETS prend un arrêté; désigne Louis LURAT, comme secrétaire de mairie. Le Conseil refuse de voter les crédits nécessaires. Le secrétaire jouira donc seulement des frais de bureau.
Aux yeux d'Eugène DUBOIS, CASTETS lui semble avoir été le plus souvent, le défenseur affirmé des intérêts communaux, des réalisations conformes aux idées de progrès. Il s'est heurté à une famille, honnête certes, mais qui, de tout temps, s'est refusée à faire le moindre sacrifice aux intérêts généraux de la collectivité, n'hésitant jamais pour exiger, jusqu'au dernier sou, l'indemnité qui, légalement, pouvait lui être due. Attitude excusable dans une certaine mesure, chez une famille pauvre, mais beaucoup moins chez des gens aisés.
Malheureusement pour notre maire, cette famille était remuante et sa situation de fortune et de parenté lui valait certain prestige auprès des conseillers de cette époque.
CASTETS s'usa en luttant contre un adversaire plus fort que lui.
Cependant, son administration semble mériter quelque éloge. Il cherche à mettre de l'ordre dans la voierie.
A plusieurs reprises, nous constatons que Napoléon III pousse ses préfets à insister auprès des maires pour que ceux-ci recherchent les moyens de soulager les pauvres. En général, le Conseil de Brie ne répond guère favorablement.
Le 27 juillet 1853, à la demande du Préfet : <<la commune reconnaît-elle la nécessité d'un service sanitaire au moyen duquel les indigents malades recevraient gratuitement les soins médicaux que leur état nécessiterait ?>>. Réponse du Conseil municipal : <<Non !>>.
Cependant, le 3 octobre 1853, le même conseil dénombre 53 ménages d'indigents. On accordera donc du pain aux pauvres; au maximum 1 kilo 500 par semaine aux vieillards, 1 kilo aux enfants. On vote 800 francs. Louis PELTON refuse de prendre part au vote. Brie obtiendra 90 francs de l'Etat.
La misère doit s'aggraver car le Préfet, à plusieurs reprises, attire l'attention des élus en termes non équivoques : il faut faire quelque chose pour soulager les indigents, d'abord par humanité, ensuite pour <<la tranquillité publique>>.
Le Ministre a demandé au maire de désigner les habitats miséreux qui seraient autorisés à ramasser le bois mort en forêt de Braconne. La liste sera visée par un inspecteur des forêts, mais le bois ne pourra être transporté qu'à dos d'homme (sans doute pour éviter les abus).