Знаменитый актер родился в Витебской губернии – тогда, в 1916 году, город Себеж входил в ее состав. Теперь это наши ближайшие соседи - Псковская область.

Зиновий Ефимович вспоминал отца как небогатого, но уважаемого в Себеже человека, который регулярно ходил в синагогу и соблюдал еврейские религиозные традиции. Мать была домохозяйкой. Она знала много русских стихов и романсов, играла на домашнем рояле и пела.
В 1932-м Гердт переехал в Москву и поступил в фабрично-заводское училище на слесаря. Работал на «Метрострое», в свободное время играл в московском Театре рабочей молодежи (ТРАМ) при заводском клубе.
В начале Великой Отечественной войны Зиновий Гердт, имевший бронь, ушел добровольцем на фронт. Он был зачислен на курсы саперов Московского военно-инженерного училища, а в декабре 1941-го направлен в действующую армию. Воевал на Калининском и Воронежском фронтах. 12 февраля 1943 года на подступах к Харькову получил тяжелое осколочное ранение в ногу во время разминирования минных полей. Перенес одиннадцать операций. Ногу удалось сохранить, однако актер до конца жизни сильно хромал.
После демобилизации поступил в Московский театр молодежи при дирекции фронтовых театров. А с 1945-го почти четыре десятилетия служил в Центральном театре кукол Сергея Образцова. Многие помнят незабываемую роль конферансье Эдуарда Апломбова в пародийно-сатирической постановке «Необыкновенный концерт» в исполнении Зиновия Гердта.
Актер участвовал в озвучивании более 90 игровых, документальных, научно-популярных и мультипликационных фильмов: дублировал актеров и читал закадровый текст.
Среди наиболее заметных его актерских работ — роли в фильмах «Фокусник», «Золотой теленок», «Место встречи изменить нельзя», «О бедном гусаре замолвите слово».
Снимался и на киностудии «Беларусьфильм». В «Городе мастеров» и «Жизнь и смерть дворянина Чертопханова» по мотивам рассказов Тургенева.
Зиновий Гердт умер 18 ноября 1996 года в Москве в возрасте 80 лет.