26 listopada 1942 został administratorem apostolskim diecezji Gravelbourg, a 15 kwietnia 1944 papież Pius XII mianował go pełnoprawnym ordynariuszem tego biskupstwa. Głównym problemem diecezji Gravelbourg u początku pontyfikatu bpa Lemieuxa był ogromny dług zaciągnięty na budowę kościołów przed wielkim kryzysem. Biskupowi Lemieuxowi udało się go spłacić oraz utworzyć fundusz emerytalny dla księży diecezji. Przywiązywał również dużą wagę do duszpasterstwa oraz propagowania misji. Rozwinął nauczanie religii wśród osób im nieobjętych poprzez kursy wakacyjne oraz kursy korespondencyjne, które adresowane były również do osób dorosłych. Kursy dostępne były w językach francuskim i angielskim.

20 czerwca 1953 został mianowany arcybiskupem ottawskim. Jako ojciec soborowy wziął udział w soborze watykańskim II. Na ottawskiej katedrze pozostał do 16 września 1966, gdy papież Paweł VI mianował go nuncjuszem apostolskim na Haiti oraz arcybiskupem tytularnym saldańskim. 30 maja 1969 przeniesiony na stanowisko pronuncjusza apostolskiego w Indiach.