Le torri sono state edificate da varie famiglie nobili della città con materiali provenienti da edifici di epoca romana. La torre Bramafam venne edificata dalla famiglia degli Challant, la torre Neuve venne edificata dalla famiglia De Villa mentre la Torre del Lebbroso venne edificata dalla famiglia De Friours e abitata da una famiglia di lebbrosi il cui ultimo discendente visse per 12 anni in assoluta solitudine, da qui il nome.