Počátky stavby nad břehem Labe sahají do závěru 13. stol., kdy je zde zmiňována gotická tvrz pánů z Michalovic. Sídlo prošlo výraznou pozdně gotickou přestavbou v 15. století za dob majitele Jaroše Tovačovského z Cimburka. V letech 1540-72 ve městě působil italský stavitel Matteo Borgorelli, který započal za dob majitelů z rodu Krajířů s renesanční přestavbou sídla. Roku 1547 zámek propadl jako konfiskát za účast Arnošta Krajíře ve stavovském povstání a přešel tak do majetku panovníka. V době Ferdinanda I. (1503-1564) byl na zámek povolán dvorní stavitel Paolo della Stella a pod vedením dvorské huti byla zahájena stavba západního arkádového křídla i za účasti Mattea Borgorelliho. V roce 1552 byl zámek zasažen velkým požárem. Stavba poté pokračoval jen krátce, zřejmě pod vedením stavitele Hanse Tirola. V plné míře byly stavební práce obnoveny až v roce 1563, kdy byla také založena rozsáhlá renesanční rudolfinská zámecká zahrada s vinohradem. Ta byla podle popisu jezuity Bohuslava Balbína skvostem mezi dalšími středoevropskými zahradami. Zahrada však později, v důsledku 30. leté války, zanikla. Renesanční přestavba byla dokončena roku 1572. Zámek byl vyzdoben bohatými sgrafity s biblickými a loveckými tématy. V tomto období se sem sjížděly významné osobnosti, např. kardinál Aldobrandini (budoucí papež Kliment VIII.), nebo astronom a alchymista Tycho Brahe. Stavební práce pod vedením stavitele Ettore de Vaccani a Ulrica Aostaliho pokračovaly po té i za císaře Rudolfa II. (1552-1612). Zámek byl oblíbeným sídlem císaře Rudolfa II., v roce 1581 povýšil císař Brandýs na královské komorní město.

Na zámku často pobýval císař Ferdinand III. (1608-1657), který se mj. zasloužil o navrácení Sasy uloupeného staroboleslavského Paladia země České. Pobýval zde i císař Karel VI. (1685-1740). Zámek byl místem, kde se Marie Terezie (1718-1770) seznámila se svým budoucím chotěm Františkem Štěpánem Lotrinským. Odtud také vyjížděla do Prahy ke královské korunovaci.

V letech 1722-29 proběhla další přestavba, včetně úprav zahrady do francouzského stylu, pod vedením císařského stavitele Františka Maxmiliána Kaňky. Kaňka navrhnul také úpravy podhradí, včetně mostu přes zámecký příkop. V roce 1736 poškodil blesk zámeckou věž, k opravě byl tehdy povolán Kilián Ignác Dientzenhofer, který také přestavoval pokoje císařovny.

Za dob Josefa II. (1741-1790) byl zámek přebudován na byty pro vysloužilé důstojníky. V tomto období byla také přestavěna zámecká kaple.

Na zámku často pobýval císař František I. (1768-1835). V době napoleonských válek měl na zámku svůj hlavní stan. V roce 1813 se zde uskutečnilo jednání ruského cara Alexandra I. a pruského krále Fridricha Viléma III. o koalici proti Napoleonovi před vítěznou Bitvou národů u Lipska.

Leopold II. (1979-1870), velkovévoda z toskánské větve Habsburků, převzal v roce 1860 od banky dluhy na brandýském panství. Zámek nechal v 70. letech 19. stol. přestavět podle návrhu architekta Bedřicha Wachsmanna. Dle jeho návrhu byla provedena nová střecha hodinové věže s krytinou z různobarevných tašek, novogoticky upravena severní zámecká brána a přestavěny barokní domky na vnějším zámeckém nádvoří. Úpravami prošel také interiér zámku, včetně dveřních a okenních výplní. Na zámek nechal převézt knihovnu a rodinný archiv toskánských Habsburků. Jeho následník, arcivévoda Ludvík Salvátor, byl význačným vědcem a cestovatelem a na zámku umístil svoji rozsáhlou sbírku uměleckých předmětů, archiválií a přírodnin ze svých cest.

Císař Karel I. (1887-1922), poslední rakouský císař a český král, v roce 2004 blahoslavený papežem Janem Pavlem II., zde pobýval od roku 1911 se svojí chotí se Zitou Bourbonsko-Parmskou. Tehdy byly provedeny úpravy v 1. a 2. patře pro jejich apartmá.

Se vznikem československého státu v roce 1918 byl tento majetek císaři vyvlastněn. Nový záměr přestavět zámek na letní sídlo T. G. Masaryka dle návrhu architekta Kamila Hilberta nebyl realizován, neboť za sídlo prezidenta byl vybrán lánský zámek. Brandýský zámek byl převeden roku 1919 pod správu státních lesů a byl využíván pro kancelářské, bytové a dílenské prostory. Zahrada a navazující objekty postupně zanikly. Částečné udržovací stavební práce proběhly na zámku v roce 1937. Zámek postupně chátral. Roku 1958 byl zámek zapsán na seznam památkově chráněných objektů. I přesto došlo k další degradací zámeckého areálu výstavbou budov Pedagogické fakulty UK v roce 1967.

V roce 1995 přešel brandýský zámek do majetku města Brandýs nad Labem - Stará Boleslav a  započala dlouhá a náročná rehabilitace této architektonicky i historicky význačné památky. Návštěvníci dnes mohou shlédnout císařské komnaty,  apartmán Karla I. a císařovny Zity, knihovnu toskánských Habsburků ze sbírek Národního muzea, expozice císařské kavalerie z Vojenského historického ústavu a zámeckou obrazárnu. Zámek je také využíván pro slavností akce a svatby. Od roku 2002 je zde každoročně pořádána historická slavnostní akce Audience u císaře Karla I.

V roce 2017 byl brandýský zámek, který po Pražském hradu představoval po staletí nejvýznamnější habsburské sídlo v českých zemích, prohlášen za národní kulturní památku.