John è il nipote di un pastore protestante, e passa di conseguenza molto del suo tempo cantando e suonando in chiesa. Quando era ancora bambino la famiglia si trasferisce in Pennsylvania, e nella chiesa locale John canta nel coro. A 16 anni si trasferisce a Filadelfia per studiare al College. Qui riceve i primi elogi per le capacità, e arrivano le prime collaborazioni: nel 1998 viene chiamato a suonare il pianoforte per il singolo di Lauryn Hill EveryThing Is Everything.

Dopo aver terminato il college, John finisce a New York dove inizia ad esibirsi specialmente nei nightclubs dove il pubblico lo adora, e lui vende i demo durante le sue performance. Il mondo dello spettacolo lo vede soltanto dietro le quinte: suona e scrive per artisti come Janet Jackson, Kanye West, Twista e Alicia Keys.

Nel 2003 al club S.O.B's viene realizzato un concerto che riscuote un significativo successo dagli spettatori: in tale occasione John fa uscire il disco live Live At SOB'S New York City. Cambierà il nome il John Legend dopo che Kanye West prenderà atto del suo talento. John collaborerà con lui per The College Dropout, che venderà ben 2 milioni di copie. I due condivideranno lo stesso palco in un duetto in occasioni del calibro dei Grammy Awards. Il quotato beatmaker e rapper lo aiuterà nella realizzazione del suo primo album solista. Il suo album di debutto Get Lifted, è uscito verso la fine del 2004. Contiene collaborazioni con West così come col rapper Snoop Dogg nel singolo Used To Love U (US top 100, UK top 30) ed Ordinary People (US and UK top 30). Ha anche collaborato con Slum Village nella canzone Selfish (US top 100). Legend inoltre ha cantato in Encore di Jay-Z e You Don't Know My Name di Alicia Keys.

Nel 2004 John Legend pubblica un altro disco live, Solo Sessions Vol.1: Live at the Knitting Factory. Mischia l'R&B classico ed il soul di una volta con il sound del jazz e delle jam sessions. Sigla un contratto per l'etichetta KonMan ed un contratto discografico con la Columbia Records. Alla fine del 2004 esce "Get Lifted", primo ed ufficiale LP solista di John Legend. Contiene collaborazioni con West così come col rapper Snoop Dogg nel singolo Used To Love U (US top 100, UK top 30) ed Ordinary People (US and UK top 30). Immediatamente si stabilisce all'interno della Billboard top 5, capitanato dal fortunatissimo singolo Used To Love U e dal brano Ordinary People. Nel 2005 debutta come attore, con un piccolo ruolo, nel film Loverboy diretto da Kevin Bacon.

Nel 2006 John pubblica il suo (per ora) ultimo album Once Again dove viene messa ancora in risalto la sua forte influenza soul vecchia scuola unita a un mix di R&B e Ballads. Le collaborazioni sono molte anche qui tra cui Will.I.Am, Kanye West e Raphael Saadiq. Dall'album ne escono 3 video dei brani Save Room, acclamatissimo primo singolo, We Just Don't Care e l'ultimissimo Stereo. John farà tappa in Italia con il suo primo vero tour internazionale a Roma il 12/7 e a Lucca il 9/7.

John Legend ha partecipato con un'esibizione live ad un evento organizzato da Apple per la presentazione della seconda generazione degli iPod nano, il 12 settembre 2006. Il 30 marzo 2008 ha cantato America the Beautiful in occasione della XXIV edizione di WrestleMania, evento di wrestling prodotto dalla World Wrestling Entertainment (WWE). Sempre nel 2008 pubblica il suo terzo album in studio intitolato Evolver, anticipato al singolo Green Light che vede la partecipazione di André 3000.