John Roy Anderson est né le 25 octobre 1944 à Accrington, Angleterre (Lancashire).

De 1962 à 1967, Jon Anderson est membre des Warriors, où il est chanteur.

En 1968, il publie deux 45 tours sous le pseudonyme de Hans Christian. Il rejoint ensuite pendant quelques jours le groupe The Gun, puis rejoint le guitariste Peter Banks et le bassiste Chris Squire au sein de la formation Mabel Greer's Toy shop, après avoir fait la connaissance de Squire dans un club de Londres appelé La Chasse.

Au cours de l'été 1968, le groupe est augmenté du batteur Bill Bruford et du claviériste Tony Kaye et devient Yes, point central de la carrière de Jon Anderson.

Dès 1970, Jon Anderson prête sa voix à d'autres artistes : on le retrouve sur l'album Lizard du groupe King Crimson. En 1975, il chante sur un des premiers albums de Vangelis, Heaven and Hell, avant de s'associer plus étroitement avec le claviériste grec. Jon participe également à des albums solos des musiciens de Yes. Dans les années 80, il collaborera également avec Mike Oldfield, Tangerine Dream, Toto, Kitaro... pour n'en citer que quelques uns.

Son premier album solo date de 1976, c'est Olias of Sunhillow, considéré comme l'un de ses meilleurs. Sa discographie solo s'amplifie dans les années 80, mais surtout dans les années 90, où il publie des albums de tout genre, pop, folk, new age...

Sa collaboration avec Vangelis, sous le nom Jon and Vangelis, a donné naissance à quatre albums de 1980 à 1991, mais Jon Anderson et Vangelis semblent s'être brouillés au sujet du contenu du quatrième album.

Dans les années 2000, sa production discographique diminue considérablement, tandis qu'il continue de parcourir le monde dans de vastes tournées avec Yes. En effet, si les albums se vendent moins, le groupe connaît toujours le succès en concert. Jon Anderson a réalisé fin 2006 une tournée d'une vingtaine de date en Angleterre en duo avec le claviériste historique de Yes, Rick Wakeman.