Il Palazzo Santa Margherita, presso cui ha sede dal 1992 la Biblioteca comunale intitolata ad Antonio Delfini, nasce al 1197 come istituzione religiosa. Nel XIV secolo è di proprietà dei canonici di Sant’Agostino, poi, nel 1539 l’intero complesso, costituito da una chiesa pericolante poi ristrutturata, una casa e un orto con alberi da frutto, passa ai frati francescani, che commerciano i prodotti coltivati e ne ampliano gli spazi acquistando alcune case nella zona a nord-ovest. Nasce così il primo nucleo conventuale che negli anni si amplierà fino a diventare uno dei più importanti edifici religiosi della città.
Nel 1768 la soppressione della parrocchia di Santa Margherita per decreto ducale di Francesco III riduce la chiesa da parrocchia a monastero, mentre trent’anni dopo viene sgombrato il convento attiguo alla chiesa per ospitare la caserma di cavalleria dei Dragoni francesi. Nel 1808, la chiesa è definitivamente tolta al culto e destinata anch’essa ad alloggio militare. La sua funzione cambia ancora dopo la Restaurazione, divenendo abitazione del personale di Corte e, finalmente, nel 1830, assume la configurazione neoclassica omogenea e armonica che ha oggi grazie al progetto di Francesco Vandelli.

Nel 1875 il complesso ospita il ‘Patronato pei Figli del Popolo’, istituito dalla Società operaia di mutuo soccorso, con un teatro di circa 400 posti. In quegli stessi anni e fino al 1988, nella parte superiore della ex chiesa, ha sede la Società di ginnastica e scherma del Panaro, nata nel 1870 come prima società sportiva modenese.
Dal 1982 il Comune di Modena avvia la riqualificazione a uso pubblico di importanti contenitori storici cittadini, fra i quali proprio Palazzo Santa Margherita. I lavori iniziano nel 1985. Nel 1992 è inaugurata la Biblioteca Delfini, che ha ereditato il patrimonio della Biblioteca Civica di Corso Canalgrande 81, sorta come biblioteca di quartiere alla fine del 1970. Solo nel 2005 si conclude con il completo recupero degli spazi interni e di un cortile interno coperto, oggi parte integrante della biblioteca. Attualmente, oltre alla biblioteca (che offre un patrimonio di 187000 documenti, di cui 15000 multimediali), il palazzo ospita diversi istituti culturali: la Galleria civica, il Museo della figurina e l’Istituto superiore di studi musicali Vecchi-Tonelli.