W 2012 A Midsummer Night’s Press opublikowało jej pierwsze dwa zbiory poezji. What If What’s Imagined Were All True to zbiór wierszy o tematyce science fiction, fantasy i mitologicznej. Natomiast Dialectic of the Flesh (2012) zawiera poezję Kaveney na temat kultury queer, doświadczeń transpłciowych i ciała. Książka była finalistką Lambda Literary Award for Transgender Fiction.
W 2018 Sad Press opublikowało Catallus – tłumaczenie i reinterpretację łacińskich dzieł rzymskiego poety Katullusa dokonane przez Kaveney. Recenzując Catallus dla „”, Antony John chwali „bardzo wulgarne tłumaczenia” Kaveney „bardzo wulgarnych wierszy” Katullusa. Z kolei Tori Lee w „” napisał, że Kaveney „wywraca do góry nogami tradycyjne rozumienie tego, co reprezentuje Katullus – ze swoją agresją, obscenicznością i seksualnością”, i opisuje zbiór jako „lekkostrawny, czytelny i niezwykle zabawny Katullus, który ucieszy zarówno klasycystów, jak i laików”.
Inna działalność W 1988 Kaveney wystąpiła w programie dyskusyjnym u boku m.in. Andrei Dworkin i Anthony’ego Burgessa.