Criado em 1833 para dar resposta ao pico de mortalidade gerado por uma epidemia de cólera, o Cemitério do Alto de São João servia o lado Oriental da cidade, em complementaridade com o Cemitério dos Prazeres.
Estabelecido inicialmente na Quinta de São João, o processo de expropriação foi complexo e mais longo que o do Cemitério dos Prazeres, pelo que só em 1840 o cemitério foi entregue oficialmente à CML. No ano seguinte, iniciou-se a construção da capela, no centro do cemitério, em frente ao portão de entrada.
A partir do traçado inicial foram sendo acrescentadas novas parcelas de terreno até completar os 22 hectares que actualmente o constituem, sendo que muito desse espaço é utilizado para sepultamento temporário.  
Neste cemitério, a procura de terrenos para a construção de jazigos particulares durante o século XIX foi inferior à do Cemitério dos Prazeres, mas a tendência inverteu-se no dealbar do século XX. Ao mesmo tempo, o Cemitério do Alto de São João começou a ficar conotado com os republicanos, em oposição ao pendor monárquico do Cemitério dos Prazeres: a implantação da Républica em 1910 e a construção de vários monumentos a Republicanos de destaque ajudou a torná-lo o cemitério mais procurado na Lisboa do século XX.
Na década de 1900 é reconfigurada a entrada do cemitério com a construção de dois jazigos-monumentos: à esquerda, em estilo neo-Manuelino, o Jazigo dos Benfeitores da Misericórdia de Lisboa, desenhado por Adães Bermudes, construído para a inumação dos beneméritos da instituição e, à direita, em estilo neo-bizantino, o Jazigo dos Viscondes de Valmor, desenhado por Álvaro Machado, contendo esculturas e pinturas dos maiores artistas da época - Costa Motta (tio), Fernandes de Sá, José Moreira Rato (sobrinho),  Tomás da Costa, Veloso Salgado, Ernesto Condeixa, Conceição e Silva e Carlos Reis –, classificado em 2016 como MIM – Monumento de Interesse Municipal.
Em 1911 começa a construção do primeiro crematório do país, inaugurado apenas em 1925, consequência da dificuldade de obtenção de materiais e máquinas durante a Primeira Guerra Mundial. Em 1936 o crematório deixou de ser utilizado, ficando inactivo até 1985, quando foi recuperado; no entanto, durante esse período foram autorizadas, no interior do cemitério, cremações em pira para a comunidade hindu residente em Portugal, mesmo durante o Estado Novo.
Nos anos 20, na sequência de um concurso, é criada a Cripta dos Combatentes, a cargo da Liga dos Combatentes, ocupando a extremidade noroeste do cemitério com um monumento que invoca as trincheiras da Primeira Guerra Mundial e encimado pela estátua do Soldado Desconhecido de Maximiano Alves.
Em 1941 são abolidos definitivamente os enterramentos em vala comum e em 1945 é interrompida a construção de jazigos particulares. A partir dessa data, o número anual de novas construções passou a ser residual.
Entre as construções presentes encontram-se obras dos mais conhecidos arquitectos, escultores e canteiros do panorama português dos séculos XIX e XX: Giuseppe Cinatti , Tertuliano Lacerda Marques, Raul Lino, Adães Bermudes, Raul Tojal, Raul Rodrigues Lima, Costa Motta (tio), Álvaro Machado, etc.
Muitas das mais sonantes personalidades do século XIX e XX português encontram-se inumadas neste cemitério, incluindo Almada Negreiros, Ramalho Ortigão, Pardal Monteiro, Rosa Araújo, Duarte Pacheco e Jorge Sampaio.