Une motte artificielle, aujourd’hui aplanie, portait un château primitif, près de l’église.

C’est une famille de damoiseaux, les de la Motte qui, dès le XIVe siècle, possédait La Motte-Verger. En 1411, Guibert de la Motte reconnaît tenir des cens et rentes en la paroisse de Voussac.

Une construction du XVIe siècle a remplacé cet ancien château, certainement très tôt abandonné, que Nicolas de Nicolay nomme par erreur Larzat.

Cette construction a conservé les structures de la maison forte construite vers 1400 par Regnaud de La Motte. C’est un long corps de logis à rez de chaussée surélevé avec étage, couvert d’un toit à croupe. Il est flanqué de deux tours rondes d’angle, à toit conique.

Au fil des siècles, ce château aurait servi de relais de chasse aux Ducs de Bourbon, jusqu’à la fin du XVième siècle.

C’est la famille de Louhan qui possédera La Motte-Verger du XVIIe au XVIIIe siècle.
Une autorisation de Monseigneur Roland PP, archevêque de Bourges accorde au Sieur de Louhan, Seigneur de la Motte-Verger, l’autorisation de faire administrer les sacrements à lui et sa famille, en ces lieux, par tel prêtre qu’ils voudront.
On retrouve également un acte notarié du 28 juillet 1619, par lequel le révérend Prieur du chapitre de Chantelle accorde une concession de bans et sépulture au Sieur de Louhan, seigneur de la Motte-verger, dans la chapelle de Notre-Dame de l’église de Voufsat.

La famille de Louhan se dessaisit du château au profit de François Gardien, marchand à Voussac, le 11 novembre 1760.

En 1836, le château appartient à Jean-Baptiste Pajot.

Au début du XXe siècle, le domaine appartient à la famille Besson.

La Motte-Verger est propriété de la commune de Voussac depuis 1954.

Désormais, le château héberge la cantine scolaire.

Il a également vocation à héberger des associations.

La tour sud abrite depuis 2017 une exposition permanente consacrée à Albert Bonneau, réunissant de nombreux souvenirs, ouvrages et objets représentatifs de l’oeuvre de cet écrivain, très attaché de son vivant à Voussac.

Figurent notamment un théâtre en bois de Guignol et les marionnettes que l’écrivain utilisait pour donner des spectacles destinés aux enfants de sa famille ou du patronage… On trouve également le bureau et la machine à écrire Remington qu’il utilisait pour dactylographier sa gigantesque production.