Libretto Po podpisaniu kontraktu kompozytor zaczął komponować arie. Podobnie jak w przypadku dwóch poprzednich oper, Cyganeria i Tosca, za pisanie libretta odpowiedzialny był duet Luigi Illica i Giuseppe Giacosa. Wzorując się na włoskim przekładzie książek Madame Butterfly Johna Longa i Pani Chryzantem Lotiego (1850–1923), na których bazowała sztuka Belasco, Illica ukończył akt I na wiosnę 1901 roku. Ta wstępna wersja opiera się głównie na książce Lotiego i różni się od kolejnych wydań libretta. Przykładowo główny bohater Pinkerton i konsul Sharpless śmieją się i drwią w oczekiwaniu na Cio-Cio-San i jej ślub z Pinkertonem.

Podobnie jak Long i Belasco, Puccini nigdy nie był w Japonii. Szczęśliwie dla kompozytora w 1902 roku odwiedziła go Mme Ohyama, żona japońskiego ambasadora we Włoszech. Podczas wizyty zaśpiewała mu kilka pieśni ludowych i powiedziała, że wyśle mu nuty z muzyką japońską. Jednocześnie nie spodobało jej się imię księcia Yamadori, które określiła jako żeńskie. Ostatecznie kompozytor nie zmienił imienia bohatera.