W 1956 ponownie wziął udział w Turnieju Czterech Skoczni. Odniósł zwycięstwo w noworocznym konkursie turnieju w Garmisch-Partenkirchen, po czym został wykluczony z dalszej rywalizacji w efekcie tego, że podczas nocy sylwestrowej nie przestrzegał zakazu spożywania alkoholu. Zabraknąć miało go już na starcie zawodów w Ga-Pa, jednak wstawili się za nim koledzy z drużyny oraz członkowie sztabu szkoleniowego i trener ostatecznie pozwolił mu wystąpić. W lutym tamtego roku Silvennoinen wystartował w igrzyskach olimpijskich w Cortina d’Ampezzo, podczas których zajął dziesiąte miejsce w rywalizacji skoczków narciarskich. W marcu 1956 zwyciężył w igrzyskach narciarskich w Lahti.
W kolejnych latach występował w zawodach nieregularnie. W 1957 zajął dwunaste, a w 1961 drugie miejsce na Festiwalu Narciarskim w Holmenkollen, w 1957 trzecie miejsce, a w 1960 szóste na szwedzkich igrzyskach narciarskich, w 1957 piąte miejsce, w 1959 siedemnaste, w 1960 dziesiąte, a w 1961 siódme podczas igrzysk narciarskich w Lahti.