Ponadto, z pomocą Tomasza II Saluzzo, Galeazzo Viscontiego i Bernabò Viscontiego, Jakub w 1356 wziął udział w ekspedycji przeciw Ivrei, podzielonej między Jana II z Montferratu i hrabiego Sabaudii Amadeusza VI; pomimo że Jakub przysiągł, że zajął tylko część miasta, należącego do domeny Monferrato, Amadeusz ogłosił, że pozbawia księcia Achai wszystkich tytułów i rozpoczął otwartą wojnę przeciwko niemu.
W 1360 Jakub, uznany za zdrajcę, został aresztowany, a jego syn i dziedzic, Filip, znalazł schronienie w Alessandrii. Jakub, by odzyskać wolność i oczyścić się ze wszystkich zarzutów oraz odzyskać swoje włości, musiał zapłacić 160 000 złotych florenów, musiał też zrezygnować z roszczeń do Ivrei i Canavese oraz zmuszony był poślubić młodszą o trzydzieści lat Małgorzatę de Beaujeu.
W 1366 Jakub został zmuszony do uznania sukcesji jedynie dzieci z nowego małżeństwa, Amadeusza i Ludwika. Filip, syn Jakuba z poprzedniego małżeństwa, podniósł wobec tego bunt. W czasie jego trwania Jakub zmarł w 1367, pozostawiając hrabstwo wyniszczone wojnami i pogrążające się w chaosie.
Ślub i potomstwo Jakub ożenił się po raz pierwszy w 1338 z Beatrycze d'Este (, zm. 1339), córką Rejnolda II d'Este (), pana Ferrary i Modeny. Małżeństwo nie miało dzieci.