Родился 2 марта 1930 на Украине в г.Середина-Буда Сумской области.
В 1954 году окончил биологический факультет Московского государственного университета (МГУ). Кандидат биологических наук.
Работал в МГУ и Институте биофизики АН СССР. С 1964 по 1969 года заведовал отделом межфакультетской лаборатории математических методов в биологии. В 1970-1974 годах, после увольнения из МГУ по политическим мотивам, работал старшим научным сотрудником на Московской опытной рыбоводно-мелиоративной станции.
Заниматься общественной деятельностью начал с 1956 года, когда в биологической науке шла борьба против лысенковщины. Ковалев являлся одним из авторов письма в деканат биологического факультета МГУ о восстановлении в правах генетики как учебной дисциплины. С 1967 года начал активно заниматься правозащитной деятельностью. В 1969 году познакомился с А.Д.Сахаровым , вскоре стал его близким другом. С момента основания 28 мая 1969 - член Инициативной группы (ИГ) защиты прав человека в СССР. Члены ИГ были в числе организаторов и редакторов "Хроники текущих событий" (ХТС) - подпольно издававшегося с 1968 года правозащитного бюллетеня.
В 1974 г. вместе с другими членами ИГ (Татьяна Ходорович и Татьяна Великанова) на пресс-конференции для иностранных журналистов заявил, о нежелании подчиняться шантажу КГБ и взятии на себя всей ответственности за выпуск и передачу на запад новых выпусков "Хроники" (выпуск ее был прекращен в 1972 году из-за угроз КГБ арестовывать людей не причастных напрямую к его изданию; впоследствии ХТС выходила до 1982 года).
С сентября 1974 года являлся членом советского отделения Amnesty International.
В декабре 1974 арестован и, несмотря на международную кампанию в его защиту, осужден за "антисоветскую пропаганду" на 7 лет лагеря строго режима и 3 года ссылки.
Вернувшись из ссылки в 1984 году, был вынужден в до 1987 года жить в Калинине (ныне - Тверь), так как проживание в Москве ему было запрещено.
В 1987 вернулся в Москву и стал сопредседателем Проектной группы по правам человека Международного фонда за выживание и развитие человечества. В середине 1987 года Ковалев вместе с группой московских правозащитников - Львом Тимофевым, Ларисой Богораз и другими создал пресс-клуб "Гласность". На его основе в начале 1989 года возродилась Московская Хельсинкская группа (МХГ). Параллельно работал инженером в Институте проблем передачи информации (ИППИ).
В мае 1988 года выступил на встрече с президентом США Рейганом во время его первого визита в Москву, в связи с чем был отменен приказ о зачислении Ковалева на работу в ИППИ.
В феврале 1990 года подписал декларацию движения "Гражданское действие", пытавшегося объединить радикально настроенных демократов. В январе 1990 года вошел в избирательный блок "Демократическая Россия". В марте был избран народным депутатом РСФСР от Чертановского округа ¦58 (Москва). На I Съезде народных депутатов РСФСР в июне 1990 был избран членом Верховного Совета. С октября 1990 года - член Движения "Демократическая Россия", однако никогда не занимал в нем выборных должностей. На I сессии Верховного Совета был избран председателем Комитета ВС по правам человека. Избрание Ковалева состоялось вопреки большому сопротивлению депутатов-коммунистов, не с первого раза и (вопреки регламенту) открытым голосованием. В качестве председателя парламентского комитета организовал амнистию всех оставшихся политзаключенных (последние 10 человек были освобождены в феврале 1992 года).
В 1990-1994 гг. - глава делегации России в Комиссии ООН по правам человека в Женеве.
В начале 1992 года поддержал запрос на имя Председателя Верховного Совета Российской Федерации Руслана Хасбулатова по поводу проведенного от его имени незаконного выселения чеченцев из московских гостиниц. Комитет, возглавляемый Ковалевым, разработал и провел через ВС Законы "О реабилитации жертв политических репрессий", "О чрезвычайном положении", "О беженцах", "О вынужденных переселенцах", подготовил поправки к законам "О гражданстве", проекты законов "О парламентском уполномоченном по правам человека", "О парламентском контроле за деятельностью спецслужб". Комитетом также были подготовлены и проведены парламентские слушания о нарушениях прав человека в районе Нагорного Карабаха, о нарушении гражданских прав некоренных жителей Латвии и Эстонии. В аппарате возглавляемого Ковалевым Комитета работали участники старого (доперестроечного) и нового правозащитного движения - Юрий Шиханович, Надежда Емелькина, Илья Бурмистрович, Олег Орлов.
С 1991 года - председатель Совета Международного исследовательского центра по правам человека, образованного по инициативе Московской Хельсинкской группы, объединяющего и координирующего деятельность 12 правозащитных организаций.
В ноябре 1992 года выступил с критикой запрета Ельциным деятельности Фронта национального спасения (ФНС), считая, что для этого нет достаточных юридических оснований.
В феврале 1993 года был назначен членом Президентского Совета. Был членом Конституционной комиссии.
Был одним из 58 народных депутатов, подписавших запрос в Конституционный суд Российской Федерации о проверке конституционности поправок к Конституции, ограничивающих права Президента, которые были приняты на VII съезде народных депутатов в декабре 1992 года и введены в действие на VIII съезде в марте 1993 года.
С августа 1993 - член Комиссии Российской Федерации по делам ЮНЕСКО.
К указу Ельцина о роспуске парламента в сентябре 1993 года сначала отнесся с неодобрением. Но на созванный в ответ X чрезвычайный съезд народных депутатов не явился и вместе с 98 другими депутатами был лишен съездом депутатского мандата.
На учредительном съезде Движения "Выбор России" (ВР) в октябре 1993 года был избран председателем Совета Движения, оставался им до октября 1994 года (когда вместо одного председателя было избрано 5 сопредседателей).
В ноябре 1993 Ельцин назначил Ковалева председателем Комиссии по правам человека при Президенте РФ.
В декабре 1993 года был избран депутатом Госдумы, входил во фракцию "Выбор России".
В 1994 году был избран уполномоченным по правам человека. В декабре 1994 был назначен членом Совета по судебной реформе при Президенте Российской Федерации. В декабре 1994 выступил против бомбардировок Грозного и ввода российских войск в Чечню. Отправился в Грозный, где оставался вместе с группой депутатов до 5 января 1995, пока российские войска бомбардировали и штурмовали город. Неоднократно призывал Ельцина и Черномырдина прекратить военные действия и вступить в переговоры с Джохаром Дудаевым.
За несколько дней до штурма Грозного, Ельцин, выступая на закрытом заседании Совета Безопасности, обвинил Ковалева в том, что тот "три года не высказывался о нарушении прав человека в Чеченской республике".
С декабря 1994 по январь 1995 являлся заместителем председателя Временной наблюдательной комиссии по соблюдению конституционных прав и свобод граждан. В январе 1995 выступил с заявлением о выходе из комиссии в связи с "нежеланием (или неспособностью) возглавляемой министром юстиции РФ Валентином Ковалевым комиссии обеспечить расследование по серьезнейшим сведениям о нарушении прав человека".
В июле 1995, выступая в Конституционном суде на слушаниях по "чеченскому делу" назвал президента "конституционным преступником".
Был выдвинут на соискание Нобелевской премии мира 1995 года.
В начале марта 1995 был снят Государственной Думой РФ с поста уполномоченного по правам человека за несогласие большинства депутатов с его позицией по Чечне.
В 1995 году, в числе нескольких депутатов, был добровольным заложником в отряде Шамиля Басаева после теракта последнего в г. Буденовске v это было необходимо для освобождения вынужденных заложников.
В декабре 1995 года был избран в новый состав Госдумы.
В январе 1996 года вслед за Гайдаром заявил о своем выходе из Президентского Совета и о том, что покидает пост руководителя Комиссии по правам человека при Президенте.
С января 1996 по декабрь 1999 года - член Комитета Государственной Думы по международным делам. Был одним из немногих лидеров партии ДВР, выступивших за поддержку кандидатуры Григория Явлинского на президентских выборах 1996 года.
В апреле 1997 года был вновь выдвинут группой депутатов Государственной Думы на должность Уполномоченного по правам человека в Российской Федерации.
С октября 1999 - член политсовета избирательного блока "Союз правых сил" (СПС).В декабре 1999 был избран депутатом Государственной Думы РФ третьего созыва по общефедеральному списку блока СПС, член Комитета Государственной Думы по делам общественных объединений и религиозных организаций.
В январе 2000 года возглавил инициативную группу граждан, выдвинувшую Григория Явлинского кандидатом в Президенты РФ на выборах 26 марта 2000.
До декабря 2000 года представлял фракцию СПС в делегации Государственной Думы в ПАСЕ, затем был заменен на другого депутата из-за несогласованного с фракцией голосования.
С марта 2001 года - член общенационального комитета "За прекращение войны и установление мира в Чеченской республике".
В апреле 2001 года выступил за немедленное освобождение из-под стражи Эдуарда Лимонова и других политических заключенных.
С апреля 2002 г. председатель общественной комиссии по расследованию обстоятельств взрывов жилых домов в Москве и Волгодонске и проведения учений в Рязани в сентябре 1999 г.
Выступал против проведения референдума в Чечне, в апреле 2003 года совместно с движением "За права человека" подал жалобу на президента Путина в Верховный суд РФ в связи с незаконностью проведения референдума.