W tym samym roku dwukrotnie obronił tytuł w wadze półśredniej wygrywając z Ceferino Garcią i Alem Manfredo.
W 1939 pokonał w obronie tytułu w wadze półśredniej Arizmendiego, Bobby’ego Pacho, Lewa Feldmana, Daveya Daya i Erniego Rodericka, a 22 sierpnia w Nowym Jorku przegrał rewanżową walkę z Ambersem, tracąc pas wagi lekkiej. W tym samym roku jeszcze sześciokrotnie skutecznie bronił tytułu w wadze półśredniej, wygrywając z Alem Manfredo, Howardem Scottem, Ritchiem Fontaine, Jimmym Garrisonem (dwukrotnie) i Bobbym Pacho (ponownie). W 1940, po pokonaniu w obronie tytułu Joe Ghnouly’ego i Pedro Montañeza, Armstrong pokusił się o zdobycie tytułu mistrzowskiego w wadze średniej (w wersji uznawanej przez stan Kalifornia) ale 1 marca w Los Angeles zremisował z obrońcą tytułu Ceferino Garcią po 10 rundach. następnie w tym samym roku pokonał w walce o tytuł wagi półśredniej Paula Juniora (dwukrotnie), Ralpha Zanellego i Phila Furra, a także w towarzyskiej walce Lewa Jenkinsa, by 4 października w Nowym Jorku stracić pas mistrzowski na rzecz Fritziego Zivica, który pokonał go również w rewanżu 17 stycznia 1941.