Etter å ha fått en stor, ny fanskare takket være sin Shins-møter-My Morning Jackets debut, fant Band Of Horses ly i en kirke i North Carolina for å spille inn oppfølgeren. Cease To Begin skifter fra store, voldsomme låter ("Is There A Ghost") til roligere spor, som den nydelige balladen "Detlef Schrempf". Selv om sangen er oppkalt etter den tyske NBA-spilleren ved samme navn, har den egentlig lite med ham å gjøre, men handler snarere om frontmann Ben Bridwells forflytning fra Seattle hjem til South Carolina. "That song is about closing the door on the past," sier han i et intervju med Rolling Stone. "I think that's the focus of the record, reflecting on moving back home."