Poměrně nevýhodnou polohu hradu vyvažoval dokonalý obranný systém, jehož součástí bylo nejen několik pásů opevnění a dřevěné můstky mezi třemi hlavními budovami hradu, ale především sedm metrů široká severní štítová zeď Velké věže. Ta byla jako velký štít obrácena proti nejpravděpodobnějšímu směru útoku a chránila celý hrad. To, že byl Karlštejn postaven jako dokonalá pevnost potvrdil roku 1422, kdy byl déle než půl roku marně obléhán husitskými vojsky. Svou pověst si udržel až do roku 1648, kdy byl poprvé a naposledy ve své historii dobyt, a to Švédy.

Ovšem v té době už ztratil svou původní funkci. Jako královská rezidence byl využíván pouze Karlem IV. a jeho synem Václavem IV. a jako pevnost pro korunovační klenoty přestal sloužit roku 1619. Císařské korunovační klenoty dal Karlův syn Zikmund z hradu odvézt hned na počátku husitských válek a když byl po jejich skončení v roce 1436 definitivně uznán českým králem, rozhodl se na Karlštejně uložit korunovační klenoty české, které zde zůstaly až do počátku třicetileté války.

Korunovační poklady byly uschovány v kapli sv. Kříže ve druhém patře Velké věže. Tato kaple, která už ve své době budila obdiv, byla vyzdobena podle popisu Nebeského Jeruzaléma. Její strop tvořený dvěma poli křížové klenby je pokryt zlatem a stovkami skleněných čoček (puklic), které měly spolu se zlatým sluncem a stříbrným měsícem symbolizovat hvězdnou oblohu. Spodní část stěn je tvořena inkrustací, polodrahokamy vsazenými do zlaceného štuku ve tvaru křížů. Nejvzácnější a nejdůležitější je ale horní část stěn zdobená 129 deskovými obrazy z dílny mistra Theodorika. Obrazy vznikly v 60. letech 14. století a znázorňují svaté, kteří jako nebeské vojsko Kristovo chránily korunovační klenoty. Je to nejrozsáhlejší, nejlépe dochovaný a umělecky nejcennější soubor gotického malířství svého druhu na světě. Ve stejném období jako Theodorikovy deskové obrazy vznikly i malby s námětem andělského chóru a legend o sv. Václavu a sv. Ludmile na stěnách a stropě točitého schodiště Velké věže.

Po architektonické stránce je Karlštejn v českém prostředí neobvyklý. Hlavní budovou je volně stojící obytná a obranná Velká věž, která byla postavena jako samostatná pevnost v pevnosti a její vysoké hradby a široké zdi měly za úkol chránit kapli sv. Kříže. Úzkým dřevěným mostem byla Velká věž spojena s Mariánskou věží. Tato další volně stojící obytná věž byla nazvána podle kostela Nanebevzetí Panny Marie ve druhém patře. Jeho stěny jsou vyzdobeny malbami z 50. – 60.let 14. století, které znázorňují Apokalypsu sv. Jana. Na jižní stěně se dochovaly tři tzv. Ostatkové scény zobrazující Karla IV. v okamžicích, kdy z rukou jiných panovníků přijímá svaté ostatky. Při tomto kostele byla Karlem IV. v roce 1357 zřízena kapitula, která stále částečně plní své původní poslání. Ke kostelu přiléhá kaple sv. Kateřiny, jeden z nejlépe dochovaných vrcholně gotických sakrálních prostor u nás.

Poslední budovou tzv. vnitřního hradu je pětipatrový Císařský palác. Dvě patra přízemí paláce postaveného ve svahu sloužila hospodářským účelům. První patro bylo vyhrazeno dvořanům, ve druhém byly komnaty císaře a reprezentační sály a třetí patro obývala císařovna a její dámy.

 

Níže položená část hradu sloužila hospodářským účelům. Na velkém nádvoří stála budova Purkrabství, sídlo správce hradu. Původní budova se nedochovala, dnes stojí pouze křídlo z 15. století. Na nejnižším místě hradního ostrohu byla zbudována Studniční věž.

Během staletí prodělal Karlštejn několik rekonstrukcí, ale původní stupňovité uspořádání budov zůstalo zachováno. Zásadnější změny přinesla renesanční přestavba provedená dvorním architektem Rudolfa II. Ulricem Avostallisem de Sala v letech 1578-1597, a hlavně neogotická rekonstrukce, která proběhla na konci 19. století pod vedením architekta Josefa Mockera v duchu purismu. Tato poslední úprava, která dala Karlštejnu jeho současnou podobu, byla důsledkem obnoveného zájmu o hrad v době národního obrození. I když mnohé zásahy do architektury či umělecké výzdoby, které byly na konci 19. století provedeny, jsou z dnešního pohledu nepřijatelné, faktem zůstává, že Mockerova rekonstrukce do značné míry přispěla k zachování tohoto objektu.

V roce 1962 se státní hrad Karlštejn stal národní kulturní památkou. Je jedním z nejexponovanějších turistických objektů, ale zároveň je sním spojena řada velmi komplikovaných problémů památkové péče. Intenzivní zájem veřejnosti o návštěvu Karlštejna ve druhé polovině 20. století vedl k neúnosnému zatížení této památky, a to zejména Velké věže a kaple sv. Kříže. To mělo za následek velké poškození interiérů. Trvalé zvýšení vlhkosti vzduchu se velmi negativně podepsalo na stavu gotické výzdoby, podobně jako řada mechanických poškození způsobených návštěvníky. Pro havarijní stav interiérů byla Velká věž v roce 1981 uzavřena a po 19 letech náročných restaurátorských prací byla znovu zpřístupněna veřejnosti v roce 2000. V závěrečné fázi byly v letech 1998 - 2000 restaurovány nástěnné malby na schodišti ke kapli sv. Kříže. Mimo jiné byly odstraněny nevhodné novodobé přemalby, což spolu s nalezením pauz umožnilo spojit jednotlivé díly transferů, tedy částí maleb, které bylo nutné v 19. století z technických důvodů sejmout, aby nebyly stavebními pracemi docela zničeny, do souvislých celků. V roce 1999 bylo pro potřeby nových technických zabezpečovacích systémů položeno nové elektrovedení a následně byla instalována klimatizační jednotka, která byla jednou ze základních předpokladů zpřístupnění kaple. Posledním problémem bylo odstranění havarijního stavu statiky podlahy kaple. Proto byla v letech 1999 – 2000 do mezistropního prostoru instalována zvláštní ocelová vzpěradla. Návštěvnický provoz v této části hradu byl obnoven v roce 2000, byl však podřízen ochraně kulturně historických hodnot.