Értelmiségi családból származik, eredetileg történésznek készült, az Oxfordi Egyetem hallgatója volt. Ott ismerkedett meg Terry Jonesszal, akivel több egyetemi darabot írtak közösen.

Diploma után, 1965-ben a véletlennek köszönhetően műsorvezetője lett a BBC Most! című humoros popműsorának, majd a Frost-jelentés (Frost Report) című szatirikus szórakoztató műsor íróstábjának volt tagja, ahol többek között a későbbi Monty Python-tagokkal, Graham Chapmannel, John Cleese-zel és Eric Idle-lal is együtt dolgozott. Ebben az időben írta Jones és Idle közreműködésével A hiba nem az ön készülékében van (Do Not Adjust Your Set) című gyerekműsor epizódjait, amelyben mindhárman szerepeltek is. A sorozt animációit az amerikai Terry Gilliam készítette. Graham Chapmannel és John Cleese-zel a Hogyan bosszantsuk az embereket (How to Irritate People) című műsorban dolgozott együtt, ekkoriban jött az ötlet, hogy készítsenek saját műsort.

Így született a Monnty Python Repülő Cirkusza, amelynek szürreális animációit Terry Gilliam készítette. Az első részt 1969. szeptemberében vették fel és októberben került adásba a BBC-n. Ezt a következő négy szezonban még 44 epizód követte.

A csoport 1975-ben mutatta be első egész estés filmvígjátékát, az alacsony költségvetéssel készült Gyalog galoppot, amelyben minden tag több karaktert játszott, és amelyet részben Palin jóbarátja, George Harrison, a Beatles tagja finanszírozott. Ezt követte 1979-ben a szintén kultuszfilmmé vált Brian élete című vígjáték, amelyet több országban istenkáromlás vádjával betiltottak. 1983-ban mutatták be Az élet értelme című filmszatírájukat, amely a cannes-i filmfesztiválon elnyerte a zsűri nagydíját.

A Monty Python 1983-ban szűnt meg, a tagok külön-külön folytatták. Michael Palin szerepelt Terry Gilliam filmjeiben (Időbanditák, Brazil, Jabberwocky), valamint Terry Jones Békavári uraság című alkotásában. A legnagyobb sikere azonban A hal neve Wanda című filmnek volt, amelynek szerepéért megkapta a legjobb férfi mellékszereplőnek járó BAFTA-díjat.

A nyolcvanas években a BBC-nek készített nagy sikerű útifilmeket, amelyek tele vannak humorral: Utazások a Föld leghíresebb vasútvonalain, 80 nap alatt a Föld körül, Sarkig tárt világ, Utazás a Csendes-óceán körül, Hemingway nyomában, Szahara, Himalája, Brazília. Az Új Európa című sorozatában többek közt Magyarországot is bemutatta.

2018-ban a világtól elzárt Észak-Koreában forgatott, 2022-ben pedig a világ egyik legveszélyesebbnek tartott országát, Irakot kereste fel. Útifilmes naplói alapján könyvek és hangoskönyvek is készültek, amelyek közül több magyarul is megjelent, emellett gyerekkönyveket is írt. Honlapja szerint idén szeptemberben jelenik meg a családjának történetével foglalkozó Great Uncle Harry című regénye.

2018-ban II. Erzsébet lovaggá ütötte, így azóta a Sir szócskát is neve elé biggyesztheti. 2009-ben három évre a Brit Királyi Földrajzi Társaság elnökének választották.