Sein Debüt wurde durch die Kriegsjahre des Zweiten Weltkrieges hinausgezögert und erfolgte nach seiner Ausbildung durch Fred Husler in Detmold erst 1955 als Bassist am Staatstheater Kassel. In den weiteren Jahren sang er am Staatstheater Mainz sowie am Staatstheater Braunschweig, bevor er von 1964 bis 1987 – jetzt hauptsächlich als Bariton – am Nationaltheater Mannheim engagiert war. Er gastierte bei den Salzburger Festspielen von 1960 als Cassandro in Mozarts »La finta semplice« und sang dort 1970 den Don Pizarro im »Fidelio«. Ab 1963 war er Mitglied der Deutschen Oper Berlin. Gastspiele brachten ihm an den großen deutschen Bühnen wichtige Erfolge ein. 1973 schloss er einen Gastspielvertrag mit der Hamburgischen Staatsoper ab.
Franz Mazura war ein hervorragender Wagner-Interpret, wobei der Alberich im »Ring des Nibelungen« als seine Glanzrolle galt. Weitere Höhepunkte in seinem Bühnenrepertoire waren der Don Pizarro im »Fidelio«, der Scarpia in »Tosca«, der Jochanaan in »Salome« und der Moses in »Moses und Aron« von Schönberg. Die dunkle Klangtönung seiner Stimme erlaubte es ihm, zahlreiche Basspartien zu übernehmen. Seit 1972 war er gern gesehener Gast an der Opéra national de Paris in Partien wie König Marke in »Tristan und Isolde«, Wotan, Alberich, Gurnemanz im »Parsifal« und Orest in »Elektra« von Richard Strauss. Er wirkte dort am 24. Februar 1979 in der Uraufführung von Alban Bergs Oper »Lulu« in der von Friedrich Cerha neu bearbeiteten dreiaktigen Fassung in der Rolle des Dr. Schön mit. Er sang an der Wiener Staatsoper, am Teatro Colón Buenos Aires, an der San Francisco Opera, dem Brüsseler Opernhaus La Monnaie, der Opéra Nice und der Opéra national du Rhin in Straßburg. Seit 1980 ist er Mitglied der Metropolitan Opera New York (Debüt als Dr. Schön in »Lulu«), an der er den Klingsor wie den Gurnemanz im »Parsifal«, den Alberich im »Ring des Nibelungen«, den Rangoni in »Boris Godunow«, den Creon in »Oedipus Rex« von Strawinsky, den Doktor im »Wozzeck«, den Frank in »Die Fledermaus« und 1989 den Flint in »Billy Budd« von Benjamin Britten sowie den Geisterboten in »Die Frau ohne Schatten« sang. 1984 trat er an diesem Haus in einem Galakonzert zum 25-jährigen Jubiläum von Leonie Rysanek mit Szenen aus Opern von Richard Wagner auf.
Einen der größten Erfolge seiner Karriere feierte er, als er beim Israel Festival 1974 im antiken Theater von Caesarea den Moses in »Moses und Aron« gestaltete. Weitere Triumphe erzielte er 1975 bis 1980, 1982 bis 1985, 1988 bis 1993 und 1995 bei den Bayreuther Festspielen als Klingsor im »Parsifal«. In Bayreuth hörte man ihn weiter als Biterolf (»Tannhäuser«), als König Marke (»Tristan und Isolde«), als Alberich (1972 bis 1975), als Wanderer (1988) und als Gunther (1971 bis 1975, 1977 bis 1980, 1984 bis 1986) im »Ring des Nibelungen«. 1991 nahm er am Opernhaus von Köln an der deutschen Erstaufführung der Oper »Der Meister und Margarita« von York Höller teil.
In den letzten Jahren war er vor allem als Schigolch (»Lulu«) u. a. an der Metropolitan Opera New York, der Bayerischen Staatsoper München, der Opéra national de Paris sowie am Théâtre du Capitole in Toulouse zu hören. Franz Mazura ist zu Gast an der Opéra de Lyon, dem Teatro alla Scala, bei den Wiener Festwochen sowie am Gran Teatre del Liceu in Barcelona.