Wobec narastającego poparcia dla konserwatystów w okręgu City of London, Goschen zdecydował się zmienić okręg wyborczy podczas wyborów 1880 r. Wystartował więc i uzyskał mandat z okręgu Ripon. W tym czasie Goschen często popadał w konflikty ze swoją macierzystą partią. Odmówił przystąpienia do rządu Gladstone’a i odrzucił stanowisko wicekróla Indii. Został natomiast specjalnym wysłannikiem w Turcji. W 1882 r. został komisarzem kościelnym. W 1884 r. odrzucił proponowane mu stanowisko speakera Izby Gmin. W wyborach 1885 r. Goschen uzyskał mandat z okręgu Edinburgh East. Po rozłamie w Partii Liberalnej przeszedł do nowej Partii Liberalno-Unionistycznej. Podczas przedterminowych wyborów 1886 r. utracił mandat parlamentarny.
W grudniu 1886 r. Goschenowi zaoferowano stanowisko kanclerza skarbu w konserwatywnym rządzie Salisbury’ego. Musiał on jednak powrócić wcześniej do Izby Gmin. Pierwsza próba, podjęta w styczniu 1887 r. w okręgu Liverpool Exchange, zakończyła się niepowodzeniem. Goschen uzyskał mandat parlamentarny w lutym z okręgu Westminster St George’s. Jako deputowany Goschen mógł już objąć stanowisko Kanclerza, na którym pozostał po wyborczej porażki konserwatystów w 1892 r. W międzyczasie został rektorem Uniwersytetów w Aberdeen (1888) i Edynburgu (1890).