Sprawował mandat posła na Sejm I kadencji (1991–1993) z listy KPN. Od 1994 do 1997 pełnił funkcję wiceburmistrza Jarosławia. Od 1997 do 2001 zasiadał w Senacie IV kadencji z ramienia Akcji Wyborczej Solidarność. W 2001 kandydował do Sejmu z listy Akcji Wyborczej Solidarność Prawicy, a w 2004 do Parlamentu Europejskiego z listy Narodowego Komitetu Wyborczego Wyborców. W wyborach parlamentarnych w 2005 został wybrany na senatora VI kadencji z ramienia Prawa i Sprawiedliwości w okręgu krośnieńskim. W wyborach parlamentarnych w 2007 po raz trzeci uzyskał mandat senatorski, otrzymując 129 957 głosów. Był także członkiem rady programowej TV Polonia i członkiem honorowym Związku Sybiraków.
19 marca 2008 Andrzej Mazurkiewicz zasłabł. Zdiagnozowano u niego pękniecie tętniaka aorty. Został przewieziony do kliniki w Aninie, gdzie zmarł dwa dni później po zabiegu operacji kardiochirurgicznej, nie wybudzając się z narkozy. 26 marca 2008 został pochowany na Starym Cmentarzu w Jarosławiu. Po jego śmierci w okręgu krośnieńskim 22 czerwca 2008 zostały przeprowadzone wybory uzupełniające, które wygrał Stanisław Zając.