Nasce em Belfast, na Irlanda do Norte, filho de um matemático. Criado em Glasgow, na Escócia, inicia-se nos estudos superiores na universidade local, na qual o pai leciona. Forma-se em Cambridge e dedica-se à ciência experimental.
Em 1832 descobre que a descompressão dos gases provoca esfriamento, e cria a escala de temperaturas absolutas, cujo valor da temperatura em graus equivale ao grau Celsius mais 273,16. Trabalha como professor em Glasgow entre 1846 e 1899. Interessado no aperfeiçoamento da física instrumental, projeta e desenvolve vários equipamentos, entre eles um aparelho usado na primeira transmissão telegráfica por cabo submarino transatlântico.
Com a participação no projeto de transmissão telegráfica por cabo, acumula grande fortuna pessoal. Em 1852 observa o que hoje se chama de efeito Joule-Thomson: a redução da temperatura de um gás em expansão no vácuo. Morre em Ayrshire, na Escócia.