„Rain on Me” jest dance-popową, disco, house i electropopową piosenką, która zawiera elementy french house, techno oraz muzyki elektronicznej i jest zainspirowana muzyką z lat 90. XX wieku. Piosenka również sampluje utwór Gwen McCrae „All This Love That I’m Giving”. „Rain on Me” jest utworem 4 na 4 o tonacji cis-moll o tempie 123 uderzeń na minutę. Większość utworu jest utrzymana w sekwencji C♯m7-Amaj9, gdzie w pierwszej zwrotce i drugim przed-refrenie dodane zostaje czterokreślne H i oba przed-refreny zawierają jedenasty akord fis-moll na końcu.
„Rain on Me” zaczyna się minimalistycznym wejściem, gdzie wokale Gagi są wyeksponowane nad muzyką. Wokale Gagi i Grande mają rozpiętość od G♯3 do H5. Wokalnie, Gaga wypowiada niektóre słowa, a Grande używa swojej „słynnej” wysokodźwięcznej oktawy. Określona przez Gagę, jako „święto wszystkich łez”, piosenka również zawiera metaforę, dokładniej „rain” (czyli deszcz) jest przenośnią dla alkoholu, który Gaga piła w dużych ilościach, żeby nie myśleć o niczym. Pierwsza zwrotka jest o trudnych momentach życia, gdzie druga jest o akceptacji rzeczywistości.