Mazowiecki je bil leta 1989 eden od soavtorjev dogovora, ki je vodil v pol svobodne parlamentarne volitve. Na njih je 4. junija 1989 slavila opozicija, zbrana okrog sindikata Solidarnost, Mazowiecki pa je stopil na čelo vlade. Premier je ostal do decembra 1990 in je v tem času bdel nad političnim in gospodarskim prehodom v demokratično državo s svobodnim trgom.

Leta 1991 je ustanovil sredinsko stranko Demokratična unija - kasneje se je preimenovala v Svobodno unijo - ki jo je vodil do leta 2003.

V obdobju med letoma 1992 in 1995 je deloval kot posebni odposlanec komisije ZN za človekove pravice za območje nekdanje Jugoslavije. Po genocidu v Srebrenici julija 1995 se je iz protesta proti pasivnosti mednarodne skupnosti glede etničnega čiščenja položaju odpovedal.