Иван Громов родом из Тверской губернии, села Крупшева Каблуковской волости, рано поступил послушником в Пантелеимонов монастырь на Афоне, где и подвизался до 50 лет, до 1914 года, когда был переведен на подворье Афонского монастыря в Москве. Здесь он принял монашеский постриг с именем Иларион, был рукоположен во иеромонаха и назначен старшим монахом, руководил различными монастырскими послушаниями.
С 1922 года иеромонах Иларион стал служить сверхштатным священником в храме Григория Неокесарийского в Москве.
В декабре 1930 года ОГПУ по распоряжению советского правительства приступило к мероприятиям по выселению из Москвы священнослужителей, монахов и монахинь закрытых монастырей и активных мирян. 17 января 1931 года иеромонах Иларион был вызван в ОГПУ на допрос. Убедившись из расспросов, что перед ним иеромонах, следователь спросил его, ведет ли он агитацию против советской власти, а также что он отвечает верующим, когда те спрашивают, есть ли в настоящее время гонения советской власти на религию. Отец Иларион ответил: «Агитации против советской власти я не веду, верующим, которые обращаются ко мне по вопросу о гонении на религию, я всегда объясняю так, что всякая власть дается от Бога, а поэтому всякой власти надо подчиняться и переносить все гонения на религию».
Выяснив, что иеромонах Иларион считает, что при советской власти гонения есть, следователь отпустил его, взяв подписку о невыезде.
Всего в Москве было допрошено и подготовлено к выселению монахов, монахинь и мирян более четырехсот человек. Их объединяли в группы, которыми занимались отдельные следователи. 29 января 1931 года следственные действия, касающиеся той группы, в которую входил иеромонах Иларион, были закончены и составлено обвинительное заключение, где писалось, что они, «монахи, монашки, бывшие домовладельцы и торговцы, будучи активными церковниками-монархистами, группируясь вокруг реакционных московских церквей, систематически ведут антисоветскую агитацию о религиозных гонениях, чинимых советской властью... Квартиры их являются убежищем для всякого рода контрреволюционного элемента».
8 февраля 1931 года Особое совещание при коллегии ОГПУ приговорило всех арестованных к трем годам ссылки. Половина арестованных была отправлена в Казахстан, а половина, в которую попал и иеромонах Иларион, в Северный край на строительство железнодорожной ветки в глухой тайге, где условия работы и жизни были самые тяжелые. Сюда было сослано много духовенства, и многие здесь умерли от болезней и непосильного труда.
В 1934 году, по окончании срока ссылки, отец Иларион вернулся в Москву и попытался по документам, выданным в ссылке, получить паспорт, но ему в этом было отказано. Он уехал во Владимир, получил документы и поселился у своего духовного сына в городе Петушки, где прожил несколько лет, время от времени приезжая в Москву для духовного окормления чад. Здесь он ходил в храм Ризоположения на Донской улице, но поскольку ввиду надзора властей за церковной жизнью служить не мог, служил на квартирах своих духовных детей, — во многих из них были устроены небольшие домашние церкви, в частности в квартире диакона Иоанна Хренова, служившего когда-то в храме Сорока Мучеников вблизи Новоспасского монастыря.
Материально помогал отцу Илариону его духовный сын Николай Рейн.
В один из приездов в Москву 10 января 1937 года отца Илариона сбил трамвай. Травма была не смертельна, но все же за ним потребовался уход, и его взяла к себе духовная дочь, которая выправила ему паспорт по документам, данным ему во Владимире. Несколько месяцев он жил у разных духовных детей, поскольку на одном месте оставаться долго было опасно — гонения на Церковь не только не утихали, но все более и более усиливались.
26 августа 1937 года иеромонах Иларион был арестован.
Отец Иларион не признал себя виновным, а следователь и не настаивал, ему было достаточно показаний лжесвидетеля, с которым отец Иларион был знаком, а также и того, что священник был судим за контрреволюционную деятельность в 1931 году.
5 октября 1937 года следствие было закончено. Отца Илариона обвинили в том, что он был активным участником контрреволюционной церковно-монархической группы, на квартирах единомышленников совершал тайные богослужения, проводил систематическую антисоветскую агитацию, высказывал фашистские настроения, распространял контрреволюционные провокационные слухи о якобы существующем в СССР гонении на религию и духовенство.
8 октября тройка НКВД приговорила отца Илариона к расстрелу. Иеромонах Иларион (Громов) был расстрелян 11 октября 1937 года и погребен в безвестной общей могиле на полигоне Бутово.
