Ich stosunki opierały się na podobnych przekonaniach artystycznych. Obaj byli właśnie u progu kariery, choć van Rappard rozpoczął ją kilka lat wcześniej; pochodził on przy tym z zupełnie innej niż Vincent sfery społecznej, z arystokracji. W tym okresie van Rappard był jedynym przyjacielem-artystą, z którym van Gogh mógł dyskutować na odległość. Ich korespondencja zaczęła się w maju 1881, po powrocie Vicenta do Etten. Tym, co ich wówczas pasjonowało, były magazyny ilustrowane, które obaj kolekcjonowali. Van Gogh sporządzał listy nowo zakupionych magazynów, po czym duplikaty tych list wysyłał do przyjaciela, który następnie zaczynał według nich gromadzić własną kolekcję.

Pochodzenie społeczne van Rapparda i jego powiązania ze środowiskami akademickimi czyniły go w pewien sposób członkiem establishmentu, którego van Gogh nie lubił. Było jednakże wiele punktów zbieżnych w ich poglądach artystycznych, o czym pod koniec stycznia 1883 donosił bratu: