Egy művészházaspár hét gyermeke közül a legfiatalabb volt, apja táncoskomikus, anyja énekesnő volt. Tizennyolc évesen engedett apja unszolásának és megpróbálkozott a színészettel. Párizsban a Folies Bergére gazdasági igazgatójának közbenjárása révén statisztaként alkalmazták, ő igyekezett minél hátrább állni, hogy senki ne vegye észre. Miután 1924–1925 között teljesítette kötelező katonai szolgálatát, visszatért a szórakoztatóiparba.

A nagy kiugrás éve 1928 lett, amikor Mistinguette, Franciaország koronázatlan revükirálynője partnert keresett a Hollywoodban filmező Maurice Chevalier helyett. Választása Gabinre esett, s a jóvágású férfi meghódította Párizst. A film világa 1930-ban nyílt meg előtte, amikor eljátszotta a Chacun sa Chance című komédia főszerepét, ezt követte a Mephisto, 1934-ben pedig Josephine Baker mellett játszott a Zuzuban.

Meghatározó alakja lett a francia filmművészetnek, olyan rendezőkkel dolgozott, mint Jean Renoir, Julien Duvivier és Marcel Carné. A nemzetközi hírnevet az 1937-ben bemutatott Az alvilág királya hozta el számára. A második világháború kitörése után az USA-ba emigrált. Hollywoodban – angolnyelv-tudás híján – újra kellett kezdenie a pályát, de itt is szerencséje volt: Marlene Dietrich beleszeretett. Gabin miatta vált el második feleségétől, botrányokban bővelkedő kapcsolatuk 1946-ig tartott. 

Hazájától távol pokolian érezte magát, így 1943-ban beállt a szabad francia hadseregbe. Harcolt Észak-Afrikában, ott volt Párizs bevételénél, bátorságáért több magas kitüntetésben részesült. Leszerelése után azonban szomorúan tapasztalta, hogy elfeledték. Normandiában földbirtokot vásárolt, harmadszor is megnősült, és családot alapított.

1950-ben tért vissza a filmhez a Könnyebb egy tevének című vígjátékban, a következő évben Az éjszaka az én birodalmam főszerepéért a velencei biennálén a legjobb férfi alakításért járó Volpi-kupát kapta, és az ötvenes évek második felére visszaszerezte háború előtti pozícióját. Sikere volt szórakoztató művekben (Francia kánkán) és komolyabb darabokban (Átkelés Párizson, A nyomorultak, Mire megvirrad), Maigret felügyelő szerepe pedig végképp legendává tette. Hosszú pályafutása során mintegy száz film főszerepét játszotta el, egyforma tökéletességgel alakítva gengsztert, rendőrt, gazdag maffiózót vagy koldust.