W kwietniu 1929 został przeniesiony do Wojskowego Zakładu Zaopatrzenia Aeronautyki na stanowisko kierownika wydziału lotnisk, ale w lipcu tego roku został zwolniony ze stanowiska i oddany do dyspozycji kierownika Wojsk. Zakł. Zaop. Aer. W sierpniu 1929 został przeniesiony do Centrum Wyszkolenia Oficerów Lotnictwa w Dęblinie na stanowisko kwatermistrza. Z dniem 7 stycznia 1930 został przydzielony na trzymiesięczny kurs oficerów sztabowych lotnictwa przy Wyższej Szkole Wojennej w Warszawie. Z dniem 31 października 1930 roku został przeniesiony w stan spoczynku.
Pod koniec 1936 wyjechał do Hiszpanii, gdzie pośredniczył w sprzedawaniu polskiej broni wojskom gen. Francisco Franco. Oficjalnym powodem wyjazdu była techniczna obsługa zakupionych PWS-10, nieoficjalnienie Ziembiński miał się zająć pozyskaniem sprzętu lotniczego produkcji ZSRS. Ostatecznie misja zakończyła się niepowodzeniem, strona frankistowska przekazała zdobyczny sprzęt przedstawicielom Niemiec i Włoch.
Po zakończeniu kampanii wrześniowej przedostał się do Wielkiej Brytanii i wstąpił do RAF. Otrzymał numer służbowy P-1077, służył w 300. dywizjonie bombowym.