Le château inférieur a entièrement disparu. On peut encore reconnaître les rudiments de l'enceinte qui était reliée au château inférieur et au mur d'enceinte d'Ulmen, un mur extérieur du palais s'élevant sur deux étages, ainsi qu'une citerne et quelques fondations d'autres bâtiments. L'ancienne partie du château d'Ulmen a été construite vers 1.074 après J.-C. et repose très probablement sur les vestiges d'une colonie romaine. Au Moyen-Âge, le château d'Ulmen a été agrandi et divisé en deux parties : le château supérieur, dont il reste des vestiges de murs, et le château inférieur, qui s'étendait jusqu'à la rive du Maar. Deux lignées de chevaliers habitaient le château, dont on suppose qu'il n'a jamais été attaqué ou détruit jusqu'en 1673 en raison de sa taille. Seules les troupes du Roi-Soleil y parvinrent. Il fut reconstruit pour tomber à nouveau en 1689 lors de la guerre de succession. Mais cette fois encore, le château d'Ulm fut reconstruit, seuls les remparts furent abandonnés. L'invasion des soldats de Napoléon fit qu'Ulmen devint également française et plus tard prussienne. Le château vide, dont le dernier descendant mourut en 1801, fut vendu aux enchères à un commerçant de Cochem, qui le commercialisa comme carrière de pierres. Lorsqu'au 19e siècle, un incendie dévastateur a brûlé Ulmen, les habitants d'Ulmen ont reconstruit leurs maisons avec des pierres du château. C'est pourquoi on peut encore voir aujourd'hui un blason sur certaines écuries. Ce n'est qu'au début du vingtième siècle que le château d'Ulmen a été classé monument historique et est devenu la propriété de la commune d'Ulmen. Le château est librement accessible à tout moment.