Secondogenito degli otto figli di Giovanni Mattia e di Francesca Magnetti, nacque a Melegnano, presso Milano, il 13 aprile 1728. Il nonno paterno Antonio, nativo di Strasburgo (la forma originaria del cognome è ignota), era giunto in Lombardia come militare nell’esercito asburgico. Il padre operò negli appalti pubblici, procurando alla famiglia una certa agiatezza. Il primogenito, Antonio, fu medico e naturalista e allestì un orto botanico a Cinisello nella villa del conte D. Silva, storico, cultore di scienza e mecenate. Quando Antonio morì (1756), il Frisi divenne il principale sostegno della famiglia e a lungo ebbe preoccupazioni finanziarie. Filippo, magistrato, autore di un De imperio et jurisdictione (Milano 1777), visse con la famiglia, morendo verso il 1780. Altri due fratelli, Anton Francesco e Luigi, furono sacerdoti: il primo si segnalò come valente storico; il secondo, canonico di S. Ambrogio, ebbe anch’egli interessi eruditi e, sembra, scientifici. La voce di Ugo Baldini prosegue sul Dizionario Biografico degli Italiani (Treccani).