pięciokrotnie żonaty: 1. Elayne Carroll (23.09.1951 - 1956, rozwód); 2. Nancy Asch (29.05.1957 - 22.09.1966, rozwód), 4 dzieci: Joseph (ur. 09.01.1963), Joshua (ur. 06.04.1958), Jason (ur. 15.01.1961) i Rachel; 3. France Nuyen (09.12.1967 - 10.11.1970, rozwód); 4. Sheila Sullivan (25.12.1971 - 14.12.1981, rozwód); 5. Candace Faulkner (od 31.12.1981 do jego śmierci), córka Samantha Hallie (ur. 26.02.1982)