Замок згадується у документах у 1105 році. Але під час розкопок на території фортеці було знайдено залишки сторожової вежі з товщиною стін у два метри, спорудженої до 1000 року. Будівництво замку розпочав в середині XI століття кайзер Генріх III. В 1105 році було утворено бургграфство Нюрнберг. Володіння замком і навколишніми землями було передано родині фон Раабс, які носили титул бургграфа нюрберського. У 1140 році король Кондрат III розпочав будівництво другого замку в західній частині пагорба. В 1377 році розпочате будівництво Спостережної вежі (Luginsland).

 Самою старою спорудою рахується П'ятигранна вежа (Fünfeckturm) споруджена в XI столітті, та адміністративний будинок (Fünfeckturm), неподалік на захід. В XII-XIII століттях була споруджена церква святої Вальбурги (Walburgiskapelle), яка є діючою і зараз. В період зведення фортеці землі належали графам Рааб. В 1219 році імператор Фрідріх II вручив місту хартію вольностей, а від так бургграфство втратило свою владу і споруди перейшли у власність міста.

Знаходиться в західній частині комплексу і є найбільшою за розмірами. Спорудження розпочалося в середині XII століття з ініціативи імператора Фрідріха I і завершилося, в основному, в 1180 році, за правління імператора Фрідріха I Барбаросси. Першим було споруджено імператорський палац, що складався з Імператорської та Лицарської зали, а також з господарських споруд.

Також в той час було зведено і «подвійну церкву» (Doppelkapelle). Дві церкви розташовані одна над одною і з’єднані переходом в перекритті. Вхід у верхню церкву облаштований з палацу і призначався для імператора та його оточення. Для імператора окремо зведений балкон, навпроти вівтаря. В нижню церкву мали доступ всі решта: народ, рицарі, свита. Зараз туди відкрито вхід, за окрему плату. Вхід у внутрішній двір палацу охороняє побудована в кінці XIII століття кругла вежа (Sinnwellturm). З верхньої площадки вежі відкривається чудовий вид на старе та нове місто. Вхід на оглядовий майданчик вежі платний. Поруч знаходиться колодязь глибиною в 47 метрів, який вирубаний в скельній породі. Відтоді і до кінця XVI століття, всі імператори Священної Римської імперії відвідували і проживали в Кайзербурзі. В жіночій частині імператорського палацу (Kemenate) знаходиться музей «Кайзербургмузеум» (Kaiserburgmuseum) - філія Германського національного музею (Germanisches Nationalmuseum). Експозиція присвячена історії спорудження Імператорського міста.

Комплекс імператорського міста-фортеці споруджений останнім і знаходиться в східній частині комплексу. Складається з кількох будівель. Одна з них,споруджена в 1377 році, башта Лугінсланд (Luginsland) – спостережна вежа. Ця вежа з’єднана з П’ятикутною вежею (Fünfeckturm) імператорськими конюшнями, спорудженими в 1495 році. Конюшні знаходилися на першому поверсі. Другий поверх використовувалася як склад зерна. В XVI столітті фортецю обнесли мурованими бастіонами. Східні муніципальні будівлі замку (Kaiserstallung і Luginsland) використовуються як молодіжний хостел (Jugendherberge). Фортечні споруди були пошкоджені під час бомбардувань Нюрнберга силами союзників у Другій світовій війні. Після війни, під керівництвом Рудольфа Естерера та Юлія Лінке, фортеця була відновлена в історичному вигляді, у тому числі вежа Luginsland, яка була повністю зруйнована.