Mniej Brytyjczyków startowało w Saint Louis w 1904 i w Atenach w 1896 roku.
Tło startu Brytyjski Komitet Olimpijski utworzony został w 1905 roku w brytyjskiej Izbie Gmin, w pierwszym składzie wchodziło dziewięć związków sportowych: kolarstwa, lekkoatletyki, łucznictwa, łyżwiarstwa, piłki nożnej, ratownictwa sportowego, rugby, szermierki i wioślarstwa. Do MKOL-u został przyjęty w tym samym roku. Przed 1932 rokiem Brytyjczycy wystąpili na wszystkich letnich igrzyskach, startowali także na Olimpiadzie Letniej 1906.
Na pierwszych igrzyskach w Atenach, Wielką Brytanię reprezentowało 10 sportowców. Pierwszym brytyjskim mistrzem olimpijskim został Launceston Elliot, który zwyciężył w podnoszeniu ciężarów jednorącz. Największa liczba sportowców reprezentowała Zjednoczone Królestwo w 1908 roku, gdy igrzyska odbywały się w Londynie. 735 sportowców zdobyło wtedy 56 złotych, 51 srebrnych i 39 brązowych medali (łącznie 146 krążków).
Spośród startujących w Los Angeles zawodników, jedynie 15 osób startowało wcześniej na igrzyskach, zatem dla 57 z nich był to olimpijski debiut.