Amigo dos mais famosos malandros da Lapa, onde mora desde os 8 anos, entra em contato com sambistas e chorões. Aos 16 já é conhecido nas rodas de choro como exímio tocador de cavaquinho, instrumento do qual emprestaria o nome mesmo quando, anos depois, começa a tocar violão.
Por influência do pai, ingressa em 1930 na Polícia Militar e casa-se no ano seguinte, mas o casamento dura pouco. Faz a ronda no morro da Mangueira, onde conhece os sambistas do morro e começa a compor - seu primeiro samba é Entre a Cruz e a Espada. Boêmio, fica dias sem voltar para casa e é preso várias vezes por faltar ao trabalho.
Pede baixa da polícia em 1938, passando a viver como pedreiro, e une-se a Neli, que seria sua companheira por muitos anos. Seu primeiro sucesso é Rugas (1943). No começo dos anos 60 é descoberto pelos bossa-novistas, que revalorizam o samba de raiz.
Grava o primeiro disco como cantor em 1970. Entre seus maiores sucessos estão A Flor e o Espinho, Quando Eu Me Chamar Saudade e Pranto de Poeta, em parceria com Guilherme de Brito, e Folhas Secas, sucesso na gravação de Elis Regina (1972). Morre no Rio de um enfisema.