Zamek Stalker w obecnej formie został w dużej mierze zbudowany prawdopodobnie w latach 40. XV wieku przez Johna Stewarta, który miał nieślubnego syna Dugalda. W 1463 roku John poślubił pochodzącą z klanu MacLaren matkę Dugalda w Dunstaffnage i został zamordowany niedaleko kościoła przez Alana MacCoula. Po ślubie rodziców Dougald Stewart otrzymał pełne prawa dziedziczne i tytuł chief od Appin. Stewartowie zemścili się na klanie MacCoul w w 1468 roku, kiedy to Stewartowie i MacLarenowie wspólnie pokonali MacDougallów, a Alan MacCoul został zabity przez samego Dugalda Stewarta.
Urodzony w 1473 roku król Szkocji Jakub IV był kuzynem Stewartów z Appin, a kiedy osiągnął pełnoletność, często odbywał polowania w Highlands. Wiadomo, że dość często przebywał na zamku Stalker, wykorzystując go jako swoją bazę wypadową. W tym czasie dokonano rozbudowy zamku, obejmującej najwyższe piętro i dach.