Em 1957 assume a chefia do Estado-Maior da 3ª Região Militar da capital gaúcha a convite do então comandante daquela unidade, general Arthur da Costa e Silva, com quem estabelece forte amizade. Promovido a general-de-brigada em 1961, é comandante da Academia Militar das Agulhas Negras, no Rio de Janeiro, por ocasião do golpe de 1964.
Apóia a derrubada do presidente João Goulart, bloqueando a passagem das tropas leais ao governo pela rodovia Rio-São Paulo. Durante o regime militar, ocupa o cargo de adido militar em Washington, Estados Unidos, e o de chefe do Serviço Nacional de Informações (SNI) antes de ser nomeado comandante do 3º Exército em 1969.
Eleito presidente da República pelo Congresso Nacional nesse mesmo ano, governa até 1974 de forma extremamente autoritária, impondo restrições às liberdades democráticas, como a censura à imprensa e o combate rigoroso aos movimentos estudantis, sindicais e de esquerda.
Respalda a repressão num eficiente sistema de propaganda e no crescimento do PIB brasileiro, obtido graças ao fenômeno do "milagre econômico", resultante da industrialização crescente. O período correspondente a seu governo é chamado de "anos negros da ditadura".