„Předně aby řečená kolej, gymnasium, seminarium a jiné budovy ke zdaru Tovaryšstva buď nevyhnutelné, nebo vhodné si vystavěli, darujeme jim celou prostoru počínajíc od východní strany chrámu sv. Barbory až k Hrádku, odtud při zdech městských nahoru jdoucích k chrámu sv. Jiří a opět od tohoto chrámu dolů přes obezděnou cestu k zadní bráně hřbitova sv. Barbory, kteráž jest k polednímu naproti hutím položena. Také svolujeme, by ta celá prostora zdí byla obehnána.“

(Císař Ferdinand II. v zakládající listině jezuitské koleje, 18. dubna 1633)

Příchod jezuitských duchovních do Kutné Hory je datován rokem 1626. Šest let nato vydává císař Ferdinand II. zakládající listinu jezuitské koleje. Vinou třicetileté války jsou stavební práce zahájeny až na podzim 1666. Toho roku probíhá demolice místní zástavby a následně jsou provedeny úpravy terénu. 2. března 1667 rektor koleje P. Jan Motitus uzavírá smlouvu s Giovannim Domenicem Orsim de Orsinim (1634–1679), v níž se tento italský architekt a stavitel zavazuje vystavět „budovu koleje Tovaryšstva Ježíšova proti kostelu sv. Barbory od začátku dlouhou na šedesát sáhů a v zahradě dvě křídla podle výkazu jím dodaného a P. rektorem podepsaného výkresu“. Základní kámen je položen téhož roku, a sice den před svátkem Zvěstování Panny Marie, tj. 24. března. Během pěti let stavba dostoupila do třetího, nejvyššího poschodí a již 1. listopadu 1678 se do koleje stěhují první členové řádu. Po Orsiho smrti se vedení stavby ujímá věhlasný architekt Carlo Lurago (1615–1684), mj. autor pražského Klementina. Mezi lety 1709–1718 vzniká na ochozu terasy před budovou koleje řada pískovcových sousoší, znázorňujících dvanáct světců (nepočítáme-li mnohem pozdější, rokokovou statui sv. Jana Nepomuckého), jejichž autorem je František Baugut (1668–1725), jezuitský koadjutor a vynikající sochař, který se do dějin Kutné Hory zapsal coby autor mariánského sloupu v Šultysově ulici. Roku 1750 je stavba koleje dokončena. Na základě listiny z roku 1724, nalezené při opravách jedné z věží v 70. letech 20. století a obsahující jména tehdejších členů koleje a hostí přítomných jejímu uložení, lze uvažovat o pravděpodobném podílu Kiliána Ignáce Dientzenhofera (1689–1751) na architektonickém řešení některých částí budovy.

Do dějin koleje jsou zapsány významné osobnosti barokní epochy, z nichž jmenujme čáslavského rodáka Jana Kořínka (1626–1680), jezuitského duchovního a filosofa, autora Starých pamětí kutnohorských, a klíčovou postavu české poesie 17. století, básníka a misionáře Bedřicha Bridela (1619–1680), který zde během ošetřování nemocných podlehl morové nákaze.

Poté, co byl roku 1773 papežem Klimentem XIV. zrušen jezuitský řád, usazuje se v prostorách bývalé koleje vojsko. Později je v severním křídle (a v části křídla východního) zřízen armádní špitál, fungující až do poloviny 19. století. Další využití objektu spadá do let 1853–1868, kdy je zde zřízen vyšší vojenský vychovatelský ústav. Za první republiky dostávají místní kasárna jméno po Janu Roháčovi z Dubé. V letech německé okupace se někdejší jezuitská kolej stává sídlem jednotky vládního protektorátního vojska, od roku 1953 budova slouží jako 1. okruhový automobilní a traktorový sklad. Teprve v roce 1998 získává celý areál České muzeum výtvarných umění a 8. května 2010 je slavnostně zprovozněna Galerie Středočeského kraje.

Budova jezuitské koleje prošla v letech 2004–2012 náročnou rekonstrukcí. V galerii níže si můžete prohlédnout jak dobové obrázky, tak fotografie z doby, kdy se rekonstrukce prováděla.