Fondovi Glazbenog odjela počeli su se izgrađivati 1961. godine. Dvije godine kasnije, 3. siječnja 1963. Glazbeni odjel otvorio je svoje fondove korisnicima za posudbu u Čitaonici Novinarskog doma na Rooseveltovom trgu, gdje je Gradska knjižnica tada bila smještena. Tokom vremena dobio je i svoj manji prostor, a preseljenjem knjižnice na sadašnju lokaciju dobiva i puno veći prostor koji mu je omogućio daljnji razvoj.
Danas odjel nudi oko 50.000 jedinica glazbene građe, zvučnih i video zapisa na starim i suvremenim medijima, note, časopise i knjige.
