Ce château construit en 1444, a subi de nombreux sièges jusqu'en 1639 où, pris une dernière fois, il est démantelé sur ordre de Richelieu.

« c'était une place forte d'assiette, estant bastie sur une haute roche, et qui n'est point commandée : environnée de 4 bastions Royaux et de huit grandes tours avec ses dehors. La massonne de ses murailles estoit telle, que cinq cens coups de canon tirez contre elles, ne les avoient fait que blanchir »

Conrad Bayer de Boppard

Conrad Bayer de Boppard, évêque de Metz (1415-1459), arrière-neveu de l'évêque Thierry Bayer de Boppard, était princier de la cathédrale de Metz et bachelier en droit quand il fut nommé évêque de Metz par Jean XXII (20mars 1415) ; il prit possession de son siège par procuration le 23 juin et, personnellement, le 21 juillet 1415.

Il voulut d'abord racheter les terres de l'évêché engagées par ses prédécesseurs et obtint, en 1424, du pape Martin V la permission de lever un impôt de 12 000 florins sur son clergé ; un de ses premiers soins aussi fut la répression et la punition de certains nobles, aventuriers et détrousseurs de grands chemins.

Quand, à la mort de Charles II, duc de Lorraine (le 25 janvier 1431), éclata la guerre de succession entre Antoine, comte de Vaudémont, et Isabelle, fille de Charles II, mariée à René d'Anjou, duc de Bar, l'évêque prit fait et cause pour ce dernier. Mais Antoine, soutenu par le duc de Bourgogne, Philippe le Bon, remporta une importante victoire à Bulgnéville près Neufchateau (Vosges), le 2 juillet 1431. Le duc René, beaucoup de nobles, ainsi que l'évêque qui avaient pris part à la bataille, furent faits prisonniers. L'évêque ne fut relâché que le 4 septembre sur la promesse de payer une rançon de 15 000 « saluts » (le salut valait alors 15 sols de Metz, c'est-à-dire environ 12 000 livres en tout). Conrad Bayer tint un synode à Vic pour obtenir cette somme de son clergé, mais il n'en reçut que « peu de secours ».

En 1433, il visita les couvents de la ville de Metz pour y réformer des abus et se rendit, l'année suivante, au concile de Bâle où il resta jusqu'au mois de septembre. Le duc René, devenu héritier de l'Anjou, de la province et du royaume de Naples, était allé en Italie pour prendre possession du royaume de Naples que lui disputait Alphonse d'Aragon et avait confié la Lorraine à un conseil de régence, dont faisaient partie les évêques de Metz, de Toul et de Verdun. Durant son absence, les régents eurent à soutenir, de 1438 à 1440, de nouvelles attaques du comte Antoine de Vaudémont.

En 1439, le 13 octobre, Conrad et son frère Thierry, ainsi que plusieurs chevaliers, furent faits prisonniers au château d'Amance (Meurthe-et-Moselle) et conduits sans vêtements, par une froide nuit, à Condé-sur-Moselle ; c'était le curé de cet endroit, Vautrin Hazar, qui avait organisé ce coup de force. L'évêque ne fut relâché qu'après avoir signé plusieurs cessions que, d'ailleurs, il ne se crut pas obligé de tenir. En mars 1450, Conrad se rendit à Rome pour le grand jubilé. Il était accompagné de 140 cavaliers et de son neveu Jacques de Sierck, archevêque de Trêves depuis 1439.

Le 2 septembre 1455, il désigna ce dernier comme coadjuteur et futur successeur, mais son neveu étant mort le 29 mai 1456, il prit pour coadjuteur, le 31 mai 1457, Georges de Bade, alors âgé de vingt-quatre ans et déjà chanoine de Cologne. Conrad mourut le 20 avril 1459 dans la maison canoniale de Haute-Pierre, occupée par son neveu Jean Bayer, archidiacre de Metz. Il fut enterré dans la chapelle des évêques (aujourd'hui chapelle du Sacré-Cœur) de la cathédrale de Metz, commencée en 1350 par Adhémar de Monteil, achevée en 1442 et consacrée quelques jours avant sa mort, le 10 avril, par le suffragant Jean Isambard, dominicain.