De onderste burcht is volledig verdwenen. Je kunt nog steeds het begin van de ring herkennen die verbonden was met de onderste burcht en de stadsmuur van Ulmen, een twee verdiepingen hoge buitenmuur van het paleis, evenals een regenbak en een paar funderingsmuren van andere gebouwen. Het oude deel van het kasteel in Ulmen werd gebouwd rond 1.074 na Christus en rust waarschijnlijk op de overblijfselen van een Romeinse nederzetting. In de middeleeuwen werd de burcht in Ulmen verder uitgebreid en opgedeeld in de bovenburcht, waarvan de resten van de muren nog steeds bestaan, en de benedenburcht, die zich uitstrekte tot aan de oevers van de Maar. Er woonden twee ridderfamilies in het kasteel, waarvan wordt aangenomen dat het tot 1673 vanwege zijn grootte nooit is aangevallen of verwoest. Alleen de troepen van de Zonnekoning slaagden hierin. Het werd herbouwd, maar viel opnieuw in 1689 tijdens de Successieoorlog. Maar ook deze keer werd het kasteel van Ulmen herbouwd, alleen de stadsmuur werd verlaten. Met de invasie van Napoleons soldaten werd ook Ulmen Frans en later Pruisisch. Het lege kasteel, waarvan de laatste telg in 1801 stierf, werd geveild aan een koopman uit Cochem die het als steengroeve verkocht. Toen een verwoestende brand Ulmen in de 19e eeuw tot de grond toe afbrandde, herbouwden de inwoners van Ulmen hun huizen met stenen uit het kasteel. Daarom kun je op sommige stallen vandaag de dag nog steeds een wapenschild zien. Pas aan het begin van de twintigste eeuw werd het kasteel van Ulmen onder monumentenzorg geplaatst en werd het eigendom van de gemeente Ulmen. Het kasteel is altijd vrij toegankelijk.