Замок, на той час ще дерев’яний, споруджено у XII ст., потім у другій половині XIII або на початку XIV ст. добудовано кам’яну оборонно-житлову вежу, так званий донжон. Це був перший кам’яний об’єкт на замковому пагорбі. За панування Казимира Великого побудовано кам’яний замок, оточений оборонним муром з брамою на західному боці. У замку під опікою Яна Длугоша виховувалися сини Казимира Ягелонського.
Біля 1520 року, за часів Сигізмунда Старого, відбулася перебудова замку на королівську резиденцію у ренесансному стилі; тоді повстало двоповерхове західне крило, натомість решта крил, донжон і північну вежу прикрашено аттиками.
У 1569 р. підчас засідань сейму тут підписано Люблінську унію. Значних пошкоджень замок зазнав у 1655-1657 рр., коли його окупували шведські, угорські та московські війська. У 1824-1826 рр., за проектом Яна Стомпфа, було споруджено нову неоготичну будівлю, призначену на кримінальну в’язницю Конгресового Королівства. Цю функцію замок виконував протягом 128 років.
Під час ІІ світової війни в замку функціонувала в’язниця гестапо, а після визволення з-під гітлерівської окупації, у серпні 1944 р., політична карно-слідча в’язниця. Ліквідовано в’язницю у 1954 р., а від 1957 р. замок став головною садибою Люблінського музею.
Будівля замку, прямокутна у плані, має внутрішній двір. Про неоготичний стиль, у якому збудований замок, свідчать характерні для нього деталі, зокрема вікна, закінчені гострою дугою, а також, так звані, зубці на мурах.