Bobbys sidste show med bandet var i december 1999 på Grand Ole Opry. Hans afgang skyldtes på det tidspunkt helbredsmæssige årsager. Han fortsatte med at skrive sange til Sawyer Brown og indspillede yderligere tre albums med dem (2000's "Cafe On the Corner", 2002's "Bootleg" og 2004's "Mission Temple Fireworks Stand"), før han besluttede at trække sig tilbage fra turné i 2004 for at bruge mere tid med sin familie og fokusere på andre forretningsinteresser.
På trods af at han ikke længere turnerede med bandet, fortsatte Bobby med at skrive sange til Sawyer Brown på deres næste to albums, 2006's "Can You Hear Me Now" og 2010's "The Boys Are Back."