Ainda muito menina, Sarah Vaughan começou a cantar no coral gospel da igreja que freqüentava com os pais, ambos músicos. Seu pai era guitarrista e sua mão era lavadeira e tocava piano na mesma igreja. Aos treze anos, com o que sua mãe havia lhe ensinado, foi para trás do orgão, acompanhando o coro.

Sarah abandonou a escola e passou a participar de concursos para músicos amadores, até que ganhou o primeiro prêmio na pioneira casa de espetáculos Apollo Theatre, o que lhe abriu muitas portas no meio musical e dentro de pouco tempo foi convidada a integrar a banda de Earl Hines a convite de seu cantor Billy Eckstine que ficou simplesmente estarrecido com a perfomance da garota.

Adquirida sua confiança ao trabalhar com nomes com o próprio Eckstine e Earl Hines, Sarah Vaughan decidiu tentar a carreira solo. Seus primeiros álbuns ao lado de Tadd Dameron eram um dos mais cults da época, fato que a levou a se unir com os músicos revolucionários do bepbop como Charlie Parker e Dizzy Gillespie, com quem havia trabalhado anos antes na banda de Earl Hines.

Em 1944, Sarah gravou o tema famoso de Dizzy Gillespie, Night in Tunisia, então entitulada Interlude e gravou ainda, ao lado do pai do bebop, Lover Man, tornando a gravação um clássico.

Com sua contratação pela Columbia Records, Sarah Vaughan tornou-se uma estrela internacional, gravando discos mais comerciais e frequentemente acompanhada de cordas, embora tenha gravado com um octeto, 1950, que incluía o trompetista Miles Davis.

Depois de quase uma década sem gravar, Sarah voltou aos estúdios, em 1971, a convite do produtor Norman Granz, dono do selo Pablo. Com ele gravou dois songbooks de Duke Ellington. Gravou ainda com Count Basie e Oscar Peterson, aventurando-se também por rítmos africanos e latinos, gravando um álbum com Milton Nascimento.

Sarah Vaughan era dona de uma impressionante tecitura, tinha pleno domínio de seu instrumento, com o qual improvisava de maneira magistral (scat singing) e sua voz elegante parecia sair sem nenhum esforço. Com sua morte em 1990, Sarah Vaughan passou a fazer parte do trinvirato composto por Ella Fitzgerald e Billie Holiday.