Además de la serie televisiva La extraña pareja (1970-1975), su papel más reconocido fue en "Quincy, M.E." (1976-1983).
En "La extraña pareja", basada en la novela de Neil Simon, que narra la vida de dos divorciados que viven juntos, Klugman hace el papel de un periodista deportivo. Por su papel en esta serie obtuvo dos premios Emmy.