Proces pisania materiału na By the Way rozpoczął się tuż po zakończeniu tasy koncertowej promującej Californication, wiosną 2001. Podobnie jak w przypadku Californication, dużą część kreowania albumu miała miejsce w domach członków zespołu a także w innych miejscach, np. w studiu nagraniowym. Kiedis skomentował sytuację: "Zaczęliśmy szukać trochę magii i muzyki i riffów i rytmów, przeprowadzaliśmy też sesje improwizacyjne. Potem wszystko zmiksowaliśmy i dodaliśmy do tego melodię". Frusciante i Kiedis pracowali razem przez kilka dni, dyskutując i porównując struktury utworów, a także obmyślając riffy gitarowe i znaczenie tekstów. Dla Kiedisa "pisanie By the Way było dla mnie zupełnie innym przeżyciem niż Californication. John wrócił do siebie, grał z dużym przekonaniem". Przed rozpoczęciem sesji nagraniowych zespół zdecydował ponownie zatrudnić Ricka Rubina jako producenta nagrania. W przeszłości Rubin gwarantował formacji dowolność w wyborze materiału i jego tematyki; grupa uważała, że jest to niezbędny element potrzebny, by uczynić album unikatowym.