9 kwietnia 1940 roku brytyjski okręt podwodny HMS „Thistle” zaatakował znajdujący się na powierzchni U-4 za pomocą sześciu torped, żadna z nich jednak nie trafiła. Niemiecki okręt wykonał awaryjne zanurzenieRobert Stern: The Hunter Hunted, s. 62–65.. Po północy Oblt Hinsch dostrzegł brytyjski okręt, stojący w bezruchu na powierzchni we fiordzie w pobliżu Stavanger, którego dowódca był prawdopodobnie nieświadomy obecności jednostki niemieckiej. Pierwsza wystrzelona przez U-4 torpeda chybiła celu, „Thistle” został jednak zatopiony drugą torpedą, która eksplodowała w jego śródokręciu. HMS „Thistle” stał się pierwszym alianckim okrętem podwodnym, którego zatopienie przez U-Boota zostało potwierdzone i jedynym okrętem wojennym zatopionym przez U-Booty podczas kampanii norweskiejClay Blair: Hitler’s U-Boat War T. 1, s. 157..
W połowie kwietnia wszystkie okręty szkolne zostały odwołane z patroli na wodach norweskich i wraz z U-4 skierowane do wznowienia działalności szkolno-treningowej. Okręt dowodzony przez Oblt. Hinscha zawinął do bazy 14 kwietnia 1940 roku.