Jej rodzina należała do ziemiaństwa i mieszkała w Orford Hall od 1638 roku. Blackburne’owie posiadali także statki handlowe, uczestniczyli w handlu z Rosją i produkowali w Cheshire sól, którą następnie eksportowano z w Liverpoolu. John Blackburne interesował się botaniką i miał w swoim ogrodzie dużą kolekcję roślin. W cieplarniach uprawiał rośliny egzotyczne, w tym ananasy i bawełnę. Zbudowana około 1730 roku cieplarnia do ananasów jako pierwsza w północnej Anglii dała dojrzałe owoce. Z części bawełny z jego cieplarni uszyto muślinową suknię dla jego córki. Rośliny północnoamerykańskie pozyskiwał, współfinansując – obok i Richarda Richardsona – wyprawy kolekcjonera . O wczesnej edukacji Anny wiadomo niewiele, być może jednak w dzieciństwie korzystała z książek przyrodniczych w bibliotece ojca, aby uczyć się botaniki.