Замок Эльц был построен на дороге, которая соединяет Айфель, Мозель и Майфельд. В начале XIII в. замок разделили три брата: Теодорих, Элий и Вильгельм. В нем трое братьев проживали вместе («Ganerbengemeinschaft») со своими семьями, женами и детьми — прообраз современных кондоминиумов. Эльц становится замком совладельцев (Ganerbenburg). Эльц всегда был замком имперским, но вокруг него была территория, находящаяся во владении архиепископа. Когда имперская власть ослабла, архиепископ приказал рыцарям Эльц дать ему присягу. Они отказались, что в 1331—1336 гг.? привело к событиям известным как «Эльцская вражда» (нем. Eltzer Fehde) — военное противостояние между 21 имперским министериалом с Мозеля и архиепископом Трирским Балдуином Люксембургским.
На данный момент замок Эльц уже около 800 лет находится во владении семьи Эльц. Настоящий его владелец предоставил замок к осмотру публики, способствует его дальнейшей сохранности для передачи в наследство следующему поколению, уже 34-му по счету.