Celý život prožil s milovanou manželkou Ninou Divíškovou i přes všechny těžkosti. V pozdních letech se Nina potýkala s Alzheimerovou chorobou a Jan o ni obětavě pečoval až do její smrti v červnu 2021. Sám vnímal život jen jako dočasnou půjčku, ne dar.
V posledních měsících sám bojoval se zápalem plic, kvůli kterému se tři týdny léčil v nemocnici. Nakonec se vrátil do domácí péče, kde následující den zemřel. Odešel tiše a nenápadně, tak jak si vždy přál a jak to měl ve zvyku i symbolicky během divadelních zkoušek.
Jan Kačer po sobě zanechal výraznou stopu a bohaté umělecké dědictví v českém divadle i filmu. Byl respektovanou osobností, která dokázala jít za svým přesvědčením i přes překážky. Jeho život i dílo budou navždy inspirací pro další generace umělců i diváků.