Il fut construit, vers l'an mil apparemment, par les vicomtes de Nîmes, les Aton puis Bernard-Aton, qui y possédaient un hôtel particulier (aujourd'hui la Trésorerie municipale).
Il est donc vraisemblable que le château de Calvisson n'avait alors qu'une "vocation militaire" (surveiller "le grand chemin" de Nîmes à Sommières ?)
Devenu "logis royal", il est attribué en 1304 à Guillaume de Nogaret et est ainsi décrit par les maçons qui procèdent à l'estimation de la rente :
"... est quedam aula longa ... mensurata de foris habet quatuordecim canas in longitudine ... & parietes dicte domus totius habent in altitudine sex canas ..."
soit en français : "est quelque grande salle longue ... mesurée à l'extérieur a quatorze canes de longueur (≈ 28 mètres - la cane fait 1,98m en longueur) ... & les murs de la dite maison ont au total six canes (≈ 12 mètres) de hauteur" (vraisemblable pour le mur ouest à cause du dénivelé),
Quant à l'aménagement intérieur, il est plutôt fruste : "in cujus capite est una camera cum sua privata camera ... & in alio capite est gurguina quedam ..."
soit : "à la tête de laquelle est une chambre avec sa chambre privée (des "toilettes" ?) ... & à l'autre tête est quelque petite pjèce (?) ..."
Quand on sait que Guillaume passe l'essentiel de son temps à Paris, où il est mort en avril 1313, qu'il a acheté en 1308 la "Grange de Livières" aux Templiers de Saint-Gilles, puis qu'en 1322 la nouvelle évaluation de la rente mentionne que le logis du Seigneur de Calvisson, alors Raymond 1er de Nogaret, est à Livières, on ne peut que conclure ainsi : pendant le temps des Nogaret, le château de Calvisson n'a pas servi à l'habitation mais n'a été qu'à vocation militaire.