Em 1937, é contratado pelo maestro Harry James para sua orquestra. Dois anos mais tarde, faz sua primeira gravação: From the Bottom of my Heart. Em 1940, está na orquestra de Tommy Dorsey e, em 1942, estréia como cantor solo em Nova York.
Ganha popularidade nacional com o programa de rádio Your Hit Parade. Seu estilo de cantar sem impostar a voz muda definitivamente o gosto do público. Estréia como ator de cinema no filme Higher and Higher (1943). Em 1953, sua carreira parece em declínio.
Por pressão de amigos, consegue um papel em A Um Passo da Eternidade, que lhe dá um Oscar de ator coadjuvante. Em 1967, grava um disco só com músicas de Tom Jobim. Em 1993, após nove anos sem gravar, lança Duets, com Bono Vox (vocalista do U2), Tom Jobim e outros parceiros de tendências variadas. No ano seguinte é a vez de Duets.