Około 1620 roku zamek Stalker przeszedł w ręce klanu Campbell z Airds w wyniku pijackiego zakładu dokonanego przez Duncana Stewarta w zamian za łódź towarową. Stewartowie z Appin odzyskali zamek Stalker w 1689 roku, ale po porażce w bitwie pod Dunkeld (21 sierpnia 1689 roku) zamek ponownie został przekazany na rzecz Campbellów. Stewartowie odmówili jego oddania. Był oblegany przez Campbellów przez kilka miesięcy do momentu, gdy Stewartowie ogłosili kapitulację w 1690 roku.
Podczas powstania jakobickiego w 1745 roku zamek Stalker został obsadzony garnizonem składającym się z około 59 żołnierzy rządowych pod dowództwem Campbellów. Stewartowie z Appin, wspierając Karola Edwarda Stuarta, oblegli zamek 300 żołnierzami, ale wytrzymał on oblężenie.
Ostatni członek Campbellów urodził się w zamku Stalker w 1775 roku. Mieszkali w nim aż do około 1800 roku, kiedy to zbudowali nowy dom w Airds, a zamek stał się magazynem. Około 1840 roku dach zamku zapadł się lub celem uniknięcia podatku dachowego został on rozebrany i po tym zdarzeniu zamek został opuszczony.