Idea pierwiastka chemicznego związana jest z powstaniem nowożytnej chemii (XVII-XVIII w.). Ma ona jednak korzenie w przednaukowej filozofii przyrody, rozwijającej idee podstawowych zasad, elementów czy żywiołów. Pierwsi filozofowie szukali podstawowej zasady (Arché) leżącej u podstaw całej rzeczywistości. Nie było zgody, co jest tą podstawową zasadą: Tales z Miletu widział ją w wodzie, Anaksymander w bezkresie (apeiron), Anaksymenes w powietrzu, natomiast Heraklit w ogniu.
W późniejszym okresie filozofowie określani jako pluraliści starali się połączyć te koncepcje, uznając, że istnieje kilka jakościowo różnych zasad, leżących u podstaw rzeczywistości przyrodniczej. W ten sposób ukształtowały się koncepcje, zgodnie z którymi u podstaw rzeczywistości materialnej leży kilka podstawowych elementów. Najbardziej wpływowa była koncepcja Empedoklesa, twórcy koncepcji czterech elementów: wody, ognia, powietrza i ziemi, łącząca koncepcje Talesa, Anaksymenesa, Heraklita i Ksenofanesa. Elementy były dla niego „pierwotne i jakościowo niezmienne”. Łączyły się ze sobą w sposób mechaniczny, tworząc wielość i różnorodność rzeczy we Wszechświecie. Odmienną koncepcję wysunęli atomiści: Leucyp i Demokryt, którzy wskazywali, że wszystkie rzeczy materialne stworzone są z małych, niepodzielnych cząstek (atomów).