Carl Holst er født og opvokset i Rødding i Sønderjylland. Hans far er tidligere medlem af Folketinget, Peter Holst (V).
Carl Holst er uddannet folkeskolelærer i 1996, men er allerede da i gang med sin politiske karriere. Han er medlem af Venstres hovedbestyrelse fra 1992, formand for Venstres ungdom fra 1993-1995 og bliver i 1994 valgt ind i Sønderjyllands Amtsråd.
I år 2000 bliver Holst valgt til amtsborgmester, og da amterne ændrer størrelse og navn til regioner, fortsætter Carl Holst som formand for Region Syddanmark fra 2006 til 2015.
Holst bliver valgt ind i Folketinget for første gang i år og bliver 10 dage senere udnævnt til Forsvarsminister i Venstre-regeringen.
Efter flere skandalesager træder Carl Holst tilbage fra forsvarsministerposten den 29. september 2015, blot tre måneder efter sin tiltræden på Christiansborg.
Privat er Carl Holst gift med skolelærer Lone Holst. Parret har tre børn.