В 1925 году женился на девушке из д. Большая Ерыкса Чермаковой Евдокии Павловне. В начале 1930-х годов Илья Ефимович был незаконно раскулачен (семья имела крупорушку) и сослан в район г. Чусовой Пермской области. Условия жизни в местах ссылки были очень тяжелыми, многие дети Анатольевых, родившиеся в Пермской области, умерли в раннем детстве. А выживший сын, Анатольев Зиновий Ильич, был призван в Советскую Армию Алнашским РВК Удмуртской АССР в январе 1944 года и погиб в октябре 1944 года. В 1935 году Илья Ефимович вернулся в родные края и поселился в д. Варали. Вместе с семьей многие годы жил в квартире на постоялом дворе Варалинского лесничества. Работал в лесничестве: летом – пчеловодом на пасеке, зимой – в мастерской лесничества. Был искусным мастером по изготовлению беговых лыж.