Apja, Arszenyij Tarkovszkij költő, a szovjet irodalom vitatott egyénisége fia hároméves korában elhagyta családját. Andrej a Volga menti Jurjevecben töltötte gyermekkorát. Zenét és festészetet tanult, két évig arab nyelvvel foglalkozott, majd a Bányászati Intézet munkatársaként egy évet Szibériában töltött egy geológiai expedícióval. 1954-ben iratkozott be a Moszkvai Filmfőiskolára, már diplomafilmje is éles vitákat váltott ki. Ezután készítette el az Iván gyermekkorát, friss szemmel jelenítve meg az egyszerű emberek háborúban mutatott hősiességét. A velencei filmfesztiválon elnyerte az Arany Oroszlán díjat.

1966-ban forgatta a 14. századi ikonfestő, Andrej Rubljov életét feldolgozó alkotását, amely az orosz szellemiség létkérdéseit feszegette, emiatt évekig dobozban maradt. Csak 1969-ben vetítették le, külföldi nyomásra, a cannes-i filmfesztiválon, ahol különdíjat kapott.

Stanislaw Lem Solaris című sci-fi regényét 1972-ben vitte filmvászonra. Alkotása a jövőben játszódik, mégis általános érvényű erkölcsfilozófiai kérdéseket feszeget. 1974-ben az önéletrajzi ihletésű, apja verseit is megszólaltató Tükörrel jelentkezett, amelyet a kulturális vezetés elitistának minősített, forgalmazását megakadályozta. Következő filmje, a Stalker is hasonlóan végezte, a rendező emiatt 1980-tól Olaszországban dolgozott. Az 1983-as Nosztalgiával Cannes-ban elnyerte a legjobb rendezői díjat. Tarkovszkij 1986. december 29-én, 54 évesen tüdőrákban hunyt el Párizsban, ahol gyógykezelték. Ma is tartja magát a legenda, hogy a KGB gyilkolta meg „szovjetellenes propagandája” miatt. Teljesen új filmnyelvet hozott létre, a gondolkodó ember konfliktusait, vívódásait boncolgatta.