"Venice Queen" została skomponowana jako oda dziękczynna dla terapeuty Kiedisa, Glorii Scott, która umarła niedługo po powrocie wokalisty z terapii do domu w Venice Beach. Utwór opłakuje jej śmierć nazywając ją "bolesną stratą": "We all want to tell her/Tell her that we love her/Venice gets a queen/Best I've ever seen".
By the Way odchodzi od stylów muzycznych prezentowanych przez Red Hot Chili Peppers na poprzednich albumach, zawiera jednak kilka funkowych piosenek. "Can't Stop" jest uważana za jedyną piosenkę z albumu zawierająca znak firmowy zespołu tj. krótkie rapowane wersy. "Throw Away Your Television" nie posiada szybko śpiewanych wersów, zawiera jednak typowo funkową linię basową ukrywającą ślady rocka psychodelicznego z charakterystycznym przesterem pomiędzy zwrotkami i refrenem. "On Mercury" zawiera partię Balzary'ego zagraną na trąbce. "Cabron", jedyny utwór na płycie grany jedynie na gitarze akustycznej, został zainspirowany muzyką latynoską. "Tear" posiada partię zagraną na pianinie, zaś "Warm Tape" został skomponowany niemal jedynie za pomocą keyboardu.