Goodbye, Killer ble innspilt stykkevis og delt i løpet av et par år, innimellom frontmann Joe Pernices arbeid med en roman og dens følgemusikk. Joe og broren Bob, samt deres langvarige samarbeidspartnere James Walbourne (Pretenders, Son Volt, Peter Bruntnell) og Ric Menck (Matthew Sweet, Velvet Crush), tilbrakte sine ledige stunder på et loft i Boston, og kom til slutt ut med de ti originallåtene som utgjør albumet. Her er noe for de aller fleste Pernice-fans, enten i form av rocka "Jacqueline Susann" og "Bechamel", poplåtene "The Great Depression" og "Fucking And Flowers", folkaktige "The End Of Faith" eller det nydelig melankolske tittelsporet. For ikke å snakke om "We Love The Stage", Joes selverklærte "homage to vaudeville, indie rock and learning to love betting against yourself". Goodbye, Killers er et variert album, men også erketypisk Pernice.