Chasing Yesterday, hans andre studioalbum med High Flying Birds, markerer et nytt kapittel I Noel Gallaghers musikalske virke. Dette er nemlig den første skiva som Noel egenhendig har både skrevet og produsert. Albumet spenner over flere ulike stilarter, fra klassisk rock 'n' roll til mildere vestkystrock over helt over til jazz.