Apját, egy örmény származású szabómestert, aki gyermekként me­nekült szüleivel Törökországból Erdélybe, még gyerekkorában elveszítette. Nyolcévesen már játszott a szegedi szabadtéri játékok színpadán, s 15 éves korában szerződtette a szegedi Városi Színház mint „táncos boyt és kardalost”. Az Országos Színészegyesület színésziskolájában 1938-ban végzett, ezután három évig szülővárosában játszott, majd egy vándortársulattal járta az országot. 1942-ben katonai behívóval tábori színházba és az orosz frontra, végül Kisinyovban hadifogságba került. Itt nem vallotta be, hogy színész, hanem festőnek mondta magát, és – mivel jó érzéke volt hozzá – kiváló portrékat készített fogva tartóiról.

Kilenc hónap után hazakerült, ezután kisebb vidéki társulatoknál játszott, 1949-től a Miskolci Nemzeti Színház tagja lett. 1952-ben Gáspár Margit a Fővárosi Operettszínházhoz szerződtette Latabár Kálmán és Feleki Kamill „helyettesének”, emiatt nehezen fogadta el őt a közönség. Három év után át is szerződött az akkor Ifjúsági, később Petőfi Színházba, ahol – saját bevallása szerint – pályafutása legszebb tizenkét esztendejét töltötte el. A Švejk színpadi változatában 298-szor alakította a részeges Katz tábori lelkészt, és több mint kétszáz alkalommal Bicska Maxit a Koldusoperában.

Amikor a Petőfi Színház 1964-ben megszűnt, a belgiumi Gent színháza kétéves szerződést ajánlott neki Bicska Maxi szerepére, de az illetékesek nem engedélyezték kiutazását. A Nemzeti Színház akkori igazgatója, Both Béla rábeszélésére (bár nem vágyott oda) az ország első színházához szerződött, ahol sok szép, drámai feladatot kapott. 1985 után nyugdíjasként játszott, 1989-ben örökös tag lett a Nemzetiben, amely 2000-ben a Pesti Magyar Színház nevet kapta.

Filmben először 1954-ben szerepelt, ezután gyakran parasztszerepekre, illetve karakterszínészként hívták (Égimadár, Csempészek, Akiket a pacsirta elkísér, Délibáb minden mennyiségben, Egy magyar nábob, Egri csillagok, Retúr). Utolsó filmszerepét 2005 nyarán a Márai Sándor azonos című regényéből készült A gyertyák csonkig égnek című filmben, testi fájdalmait legyőzve alakította. Alakításáért 2006-ban megkapta a Magyar Filmszemle életműdíját, amelyet személyesen már nem tudott átvenni.

Sokoldalú karakterszínész volt, komikus szerepeit éppolyan pontosan fogalmazta meg, mint a drámai jellemeket. Egyformán otthonosan mozgott minden műfajban, prózában és zenés darabokban, drámában és komédiában, számos veretes kabarétréfában, a rádióban, filmek és tévéjátékok sokaságában. A közönség kedvence volt, még 83 évesen is játszott, majdnem hetven évet töltött színpadon.

Művészetét 1958-ban és 1962-ben Jászai Mari-díjjal, 1985-ben Kossuth-díjjal, 1995-ben a Magyar Köztársasági Érdemrend Középkeresztje kitüntetéssel ismerték el. 2000-ben a nemzet színésze lett.

A festészettel gyermekként, hat- éves korában került kapcsolatba, ekkor rúgta be labdával Erdélyi Mihály festőművész ablakát. Erdélyi szárnyai alá vette, tanította, így vált élete elmaradhatatlan részévé a festés. 1968-ban az Egri csillagok bulgáriai forgatása idején egy szófiai templomban szeretett bele az ikonfestésbe, amelynek egyik hazai specialistája lett, munkáit több önálló kiállításon is bemutatták. Ikonfestménye megtalálható a pannonhalmi apátságban, a II. Alekszij orosz pátriárka számára ajándékozott műve az oroszországi Danyilov kolostorában, s a II. János Pál pápa számára Szent István királyról készített ikonja a Vatikánban, utóbbit személyesen adta át a pápának. A kiváló színész ötvösműveket is készített.

Agárdy Gábor hosszan tartó betegség után, 2006. január 19-én halt meg. A budapesti Farkasréti temetőben helyezték örök nyugalomra, síremlékére egy Márai-idézetet véstek: „Amíg az embernek dolga van a földön, él”. Emléktábláját 2010-ben avatták fel egykori budapesti lakóháza falán.