Em 1960, após deixar o conjunto de Miles, Coltrane iniciou uma nova fase, liderando um quarteto com McCoy Tyner ao piano, Jimmy Garrison ao contrabaixo e Elvin Jones à bateria, e iniciou uma ousada e inédita exploração do espaço sonoro jazzístico. Coltrane desenvolveu um estilo absolutamente próprio, onde predominavam as chamadas sheets of sound (folhas ou camadas de som), que se compunham de longas frases de notas rápidas tocadas em legato. Coltrane embarca numa redicalização da harmonia que o leva à beira do atonalidade. Também fragmenta e desconstrói os temas, deixando-os quase irreconhecíveis sob um congestionamento de frases torturadas. A produção do quarteto de Coltrane entre 1960 e 1965 é um marco na história do jazz, comparável ao quinteto de Miles. As várias, longuíssimas e impressionantes versões de Coltrane para My Favorite Things, valsa aparentemente banal de Rodgers e Hammerstein, são antológicas. Em 1965 o quarteto cria aquela que é unanimemente considerada sua obra-prima, a suíte em quatro movimentos A Love Supreme.

Embora vindo do hard bop, o Coltrane de 1955 a 1965 já podia ser considerado em certo sentido um precursor do free jazz. Porém em 1965 sua ligação com a vanguarda se torna ainda mais direta, quando se une a músicos free como o baterista Rashied Ali, os saxtenoristas Archie Shepp e Pharoah Sanders, entre outros. Sua mulher, a pianista Alice Coltrane, também o acompanha nessa nova, arrojada e curta fase. O disco Ascension é uma obra-prima desse período, já desvinculado da harmonia tonal. Bastante religioso, Coltrane imprimiu às suas obras de 1965-1967 um forte conteúdo religioso e místico. Morreu repentina e prematuramente, em 1967, aos 40 anos, de câncer no fígado. Após sua morte, uma grande quantidade de gravações inéditas foi sendo localizada e lançada, permitindo ao público avaliar melhor o quão monumental é sua obra.

Sobre Coltrane, escreve o crítico André Francis: "Não poucos medíocres julgaram poder imitar Coltrane. Ora, tocar como ele exige uma fé enorme. Coltrane era puro, generoso, gostava do mundo; seu rosto espelhava calma e franca formosura. Os que o imitam não passam de aproveitadores. (...) Em tudo a vida de John Coltrane é exemplar. Nenhum escândalo, nenhuma fraqueza, quase nenhuma anedota frívola: música, isso sim, acima de tudo. (...) Muitos há que tocam e agem como ele (...) Mas falta-lhes a mesma fé." Dificilmente se poderia acrescentar algo a tais palavras.

(V.A. Bezerra, 2001)