Łotewscy Polacy zamieszkiwali głównie tereny Inflant Polskich, wschodniej Semigalii i stołeczną Rygę. Do ich największych skupisk należały: Dyneburg, Rzeżyca, Iłukszta, Lucyn, Prele i Krasław. Na miejsce rodaków wywiezionych w głąb Rosji albo repatriowanych do Polski napływali Polacy z Białorusi i Litwy w poszukiwaniu lepszej pracy, jednak szybko się rusyfikowali w nowym środowisku.
W 1948 ostatecznej likwidacji uległo szkolnictwo polskie: zamknięto nawet gimnazjum w Dyneburgu. Po 1950 sukcesywnie spadała liczba Polaków władających rodzimym językiem: w 1970 do jego znajmości przyznawał się jedynie co trzeci Polak (w 1980 roku co piąty). Ostoją polszczyzny stał się kościół katolicki (szczególnie w Łatgalii), w języku polskim odbywały się zajęcia w ryskim Seminarium Duchownym.
Liberalizacja po 1976. Pieriestrojka i odrodzenie Łotwy W 1978 roku powstał w Rydze Klub Kultury Polskiej „Polonez” przy Domu Kultury Budowniczych w Rydze, który popularyzował polskie filmy, piosenki i literaturę, jednak w zgodzie z oficjalnym duchem socjalistycznym. Był w tym okresie jedyną organizację skupiająca Polaków na Łotwie. Założycielami byli Vanda Puķe i Boleslaw Gołubiec. Przy nim działał chór Polonez, którego organizatorem i dyrygentem był działacz polonijny Edward Fiskowicz.