Hudební školu v Kolíně založil již František Kmoch. V roce 1872 rozeslal kolínským občanům oznámení a zároveň přihlášku.

„V kruzích ctěného měšťanstva vysloveno bylo přání o snadném vzdělání hudebním mládeže zdejší. V úctě podepsaný František Kmoch, t. č. učitel v Červených Pečkách a kapelník sokolské hudby zdejší, byl od četných pánů měšťanů vyzván, aby hudební ústav v Kolíně zařídil“ … „Kdo z pánů rodičů a pěstounů svěřiti by mi chtěl dítky své, ráčiž úmysl svůj dle počtu a pohlaví dítek, jakož i dle druhu hudebních nástrojů laskavě osvědčiti podpisem vlastnoručním,“ vyzývá slavný kapelník.

Jeho snaha tehdy vyzněla naprázdno, přihlásilo se pouze pět dětí na klavír. Všichni přihlašovatelé byli členy Sokola. Škola byla přes těžké začátky otevřena. Kmochovi bylo například vyčítáno, že nemá odpovídající vzdělání. Zpočátku vyučoval kapelník sám, pak působili v jeho škole členové Kmochovy hudby i jeho dcera Josefa.

„Městský kapelník již po deset roků co takový účinkuje s úspěchem skvělým v našem městě, že se těší též vzácné pověsti co skladatel hudební a že osvědčil se též co výtečný učitel hudby,“ odůvodnila v roce 1982 královská rada města Kolína doporučení, aby se soukromá škola stala veřejnou. V té době Kmochův hudební ústav již dobře prosperoval.

V květnu 1932 kolínské obecní zastupitelstvo schválilo návrh na zřízení Městské hudební školy v Kolíně. Školní rok začal 1. října 1932 s 92 žáky z Kolína a okolí. Školné činilo 70 Kč měsíčně. Zatímco nyní trvá hodina obvykle 45 minut, tehdy se vyučovalo 60 minut dvakrát týdně.

Prvním ředitelem školy se stal Josef Mančal, uznávaný učitel, sbormistr a dirigent. Hudební ústav se mu podařilo rozšířit i přes značné finanční obtíže. Krize vyvrcholila za okupace, kdy budovu v Čechových sadech zabralo Gestapo. Učitelé pokračovali ve výuce ve vlastních bytech. Také později se prostory měnily. V letech 1988 a 1996 získala škola dva městské domy v Sokolské ulici, ve kterých působí dosud.

V současnosti využívá koncertní sál a baletní sál, výstavní sál, divadélko, ateliéry, fotoateliér i zahradu. Zřizovatelem je město Kolín. Škola má pobočku ve Velkém Oseku a třídy ve Starém Kolíně, v Základní škole Lipanská v Kolíně. Pedagogický sbor čítá 53 učitelů. Studuje zde téměř 1200 žáků. Ročně škola pořádá více než 200 kulturních akcí. Pravidelně jsou organizovány výměnné zájezdy do Německa, Dánska či Holandska.