V roce 2004 oznámil v rozhovoru s Larrym Kingem, že končí s hereckou kariérou, a od té doby žil v ústraní ve městě Santa Fe v Novém Mexiku. Během svého života byl dvakrát ženatý. První manželství s Faye Maltesovou, se kterou měl tři děti, trvalo třicet let, ale skončilo rozvodem. V roce 1991 se oženil s pianistkou Betsy Arakawovou, která byla o 32 let mladší.
Gene Hackman měl mnoho zájmů mimo herectví. Byl velkým fanouškem týmu amerického fotbalu Jacksonville Jaguars a pravidelně navštěvoval jejich zápasy. Aktivně se věnoval závodění a cyklistice, a mezi jeho další koníčky patřila architektura a design. Jeho smrt je velkou ztrátou pro filmový svět i jeho fanoušky.
