Jeszcze przed święceniami, gdy przebywał w Hongkongu, 11 sierpnia 1930 otrzymał depeszę z informacją o zbombardowaniu katedry w Nanningu i śmierci w niej wielu osób. 30 września 1930 wyruszył w podróż do swojego wikariatu. Nie mogąc, z powodu trwającej wojny domowej, dotrzeć do oblężonego Nanningu, osiadł w Paksha. Tam na kilka miesięcy został aresztowany. Do Nanningu przybył 28 stycznia 1931. W tym też roku ustała wojna domowa i bp Albouy rozpoczął objazd swojego wikariatu.
Założył pięć nowych placówek misyjnych. Ściągnął kanadyjskie siostry zakonne, aby wykształciły siostry chińskie w prowadzeniu szkół i aptek. Dbał o kształcenie katechistów, odpowiadających za życie religijne wspólnot rzadko odwiedzanych przez kapłanów. Wspierał prowadzoną przez Kościół kolonię trędowatych.
Wikariat apostolski Nanningu znacznie ucierpiał podczas wojny chińsko-japońskiej. Po zbombardowaniu seminarium, przeniósł seminarzystów do Pakshy. Dbał również o ludność cywilną. 7 lipca 1941 został odznaczony przez chińskie Ministerstwo Spraw Wewnętrznych za poświęcenie i przyjęcie uchodźców podczas działań wojennych. W listopadzie 1944, gdy armia japońska zajmowała teren wikariatu, zbiegł pod granicę z Wietnamem.