Иван Рыбин — сын крестьянина из села Журавлино Ново-Николаевского уезда Самарской губернии. Был псаломщиком, певчим.
В 1924 году 47-летний Иван Рыбин рукоположен в сан диакона, в 1925 — во иерея. Служил в Самарской губернии. В 1929 году нарсудом Журавлевского района осужден «за неуплату гарнцевого сбора» и приговорен к ссылке с конфискацией имущества. В ссылке служил в церкви с. Таволжанского Новочеркасского района Карагандинской области. В 1931 году Акмолинским нарсудом приговорен к 5 годам ссылки. Подробности пребывания и место ссылки неизвестны.
В 1933 году по возвращении из ссылки вновь служил в с. Таволжанском.
В 1933 году Акмолинским нарсудом осужден за «невыполнение хлебопоставок и мясопоставок и невыполнение гособязательств по поставке картофеля» и приговорен к 3 годам лишения свободы. Заключение отбывал в тюрьме города Акмолинска (ныне Нур-Султан).
Был освобожден из тюрьмы досрочно через полтора года по состоянию здоровья. По возвращении из тюрьмы вновь служил в с. Таволжанском, и как говорится в следственном деле, «начал организовывать нелегальные богослужения в домах колхозников и у себя. Призывал колхозников соблюдать религиозные обряды, праздники. Собирал у себя молельные собрания».
31 августа 1937 года был арестован Акмолинским РО НКВД по обвинению в «проведении на собраниях верующих антисоветской агитации».
На допросе о. Иоанн Рыбин не отрицал, что «проводил на дому собрания, где было 20 человек женщин, читали Евангелие и собравшиеся молились Богу», но отрицал разговоры против советской власти. В обвинительном заключении было сказано: «Священник Иоанн Рыбин виновным себя не признал, показал, что религиозные сборища не проводил и что а/с агитацией не занимался».
14 сентября 1937 года был осужден тройкой при УНКВД по Карагандинской области и приговорен к расстрелу.
19 октября 1937 года был расстрелян.
