Gustavo Borges começa a nadar aos 9 meses de idade e passa a competir aos 10 anos. Em 1991 ganha cinco medalhas nos Jogos Pan-Americanos de Cuba, das quais duas de ouro. No ano seguinte conquista a medalha de prata nas Olimpíadas de Barcelona na prova dos 100 m nado livre.
Em 1993 bate dois recordes mundiais, nos 100 m e no revezamento 4 x 100 m nado livre. No Mundial da Itália, em 1994, consegue dois bronzes e, nos Pan-Americanos de Mar del Plata, em 1995, outras cinco medalhas. Nas Olimpíadas de Atlanta, em 1996, obtém mais uma medalha de prata, nos 200 m nado livre, e uma de bronze, nos 100 m nado livre.
Em 1997 é campeão mundial nos 200 m nado livre em Gotemburgo, na Suécia. No ano seguinte, após vencer várias etapas da Copa do Mundo, leva o Troféu Brasil, batendo o recorde mundial no revezamento 4 x 100 m nado livre. Em 1999, nos Jogos Pan-Americanos de Winnipeg, no Canadá, ganha mais cinco medalhas: três de ouro, uma de prata e uma de bronze. Torna-se então o atleta brasileiro com o maior número de medalhas nessa competição: 15 no total.