Niechętny Radziwiłłom Paweł Jan Sapieha swoich prywatnych wojsk nie oddał pod dowództwo hetmana. Gosiewskiemu Radziwiłł wprost zarzucił tchórzostwo, doszło nawet do rękoczynówMichał Wójcik, Obrona Radziwiłła, Angora 3/2005 s. 49.. Hetmanowi Radziwiłłowi zarzucono, że nie wywiązał się z obowiązku pomocy w przygotowaniu twierdzy smoleńskiej do oblężenia. Zarzucano mu też zawyżone rachunki za wystawienie wojska. W odpowiedzi stronnicy hetmana zarzucili zdradę Filipowi Obuchowiczowi. W sierpniu 1655 roku wojska moskiewskie zdobyły Wilno dokonując rzezi mieszkańców, a część wojsk litewskich wypowiedziała posłuszeństwo hetmanowi z powodu braku żołdu.
W lipcu 1655 roku do walki przeciw Rzeczypospolitej oprócz Chmielnickiego i Moskwy dołączyła Szwecja. Kalkulacje polityczne i niechęć do Jana Kazimierza oraz namowa biskupa Jerzego Tyszkiewicza, skłoniły księcia Janusza do samodzielnego paktowania ze Szwedami. Na początku sierpnia 1655 roku w Rydze Gabriel Lubieniecki podpisał w imieniu księcia Radziwiłła porozumienie ze Szwecją. Układ został potwierdzony w Jaswojniach 18 sierpnia wspólnie przez hetmanów Radziwiłła i Gosiewskiego.