Fiatalkorában éjszakánként dzsesszzongoristaként, nappal stúdiókban lemezfelvételeken dolgozott New Yorkban, majd Hollywoodba utazott, ahol zongoristaként, majd hangszerelőként foglalkoztatták. Közreműködött a Van, aki forrón szereti, a Legénylakás, a Ne bántsátok a feketerigót! című klasszikusok zenéjének felvételén, zongoristaként kísérte többek között Doris Dayt és Mahalia Jacksont. Első filmzenéjét 1958-ban a Daddy-O című filmhez komponálta, Oscar-díjra először az 1967-ben bemutatott Valley of the Dolls című dráma zenéjéért jelölték. Két évvel később Emmy-díjat kapott a Heidi című filmért, majd első Oscar-szobrát is átvehette az 1971-es Hegedűs a háztetőn zenéjének adaptációjáért.

A közönség elsősorban Steven Spielberg és George Lucas filmjeiből ismeri a nevét. Barátsága Spielberggel a Sugarlandi hajtóvadászat forgatásán kezdődött, és a rendező rendre őt kérte fel, hogy komponáljon zenét filmjeihez. Williams öt Oscar-díjából hármat (A Cápa, E.T. – A földönkívüli, Schindler listája) Spielberg-filmekért kapott. A rendező olyan alkotásaihoz írt kísérőzenét, mint a Harmadik típusú találkozások, az Indiana Jones- és a Jurassic Park-trilógia, az Amistad, a Ryan közlegény megmentése, a Kapj el, ha tudsz, a Hadak útján vagy a Lincoln. Ő komponálta a filmzenét George Lucas Csillagok háborúja filmjeihez, harmadik Oscar-díját az 1977-ben vetített első rész zenéjéért kapta, és a 2019-ben bemutatott epizód volt az utolsó, amelyet elvállalt. Emellett még számtalan kasszasiker muzsikáját jegyzi. Karmesterként is dolgozik, 1980 és 1993 között a Boston Pops Orchestra vezető karmestere volt, de a Londoni Filharmonikusokat is vezényelte.