V národním týmu odehrál Černý 210 utkání a vstřelil 75 gólů. Na olympijských hrách v Grenoblu v roce 1968 získal stříbrnou medaili, zatímco v Innsbrucku 1964 a Sapporu 1972 si odvezl bronz. Na mistrovství světa přidal dalších pět stříbrných a pět bronzových medailí. Jeden z jeho nejslavnějších gólů padl v roce 1969 proti SSSR ve Stockholmu, kdy se probojoval obranou a typickým bekhendem zavěsil puk do sítě, což se stalo ikonickým momentem hokejové historie.
Přestože Černý dosáhl mnoha úspěchů, zlatá medaile mu unikla. Po olympiádě v Sapporu 1972 byl kritizován na trenérské radě a nebyl zařazen do týmu, který o rok později získal zlato. Jeho smutné oči si pamatují tehdejší šampioni, jak vzpomínal Záruba.
Po skončení hráčské kariéry se Černý věnoval trénování. Působil v Rakousku, Itálii a vedl týmy jako Žilina, Prostějov, Ytong Brno a Kometa, která tehdy hrála druhou ligu. Na přelomu tisíciletí se však rozhodl s vrcholovým trénováním skončit kvůli nespokojenosti s poměry v hokeji a společnosti. Nadále se však věnoval koučování mladých talentů.
Kromě hokeje měl Černý i další zájmy. Vystudoval střední školu elektrotechnickou a později pedagogickou fakultu, kde se zaměřil na tělesnou výchovu. Jeho velkou vášní byl chov poštovních holubů a udržování kondice prací na zahradě. Černý se řídil zásadou, že nesmí být líný a nesmí nikomu závidět. Věřil, že úspěch je výsledkem tvrdé práce a poctivosti, a proto fandil každému, kdo dosáhl úspěchu poctivou cestou.
V roce 2007 byl Josef Černý uveden do Síně slávy mezinárodní federace IIHF a o rok později i do Síně slávy českého hokeje, čímž se jeho jméno navždy zapsalo do historie tohoto sportu.
