Родился он в селе Лобаски Ичалковского района Мордовской АССР в эрзянской семье. Окончив Лобаскинскую начальную школу, Анатолий, по наставлению отца П.Т. Рябова, поступил учиться в Починковское духовное училище. Затем продолжал свое образование в Нижегородской духовной гимназии. Попал он туда с большим трудом, как «инородец» в счет 3% нормы. Его тяготило учение в духовной школе, и когда умер отец, Анатолий оставил семинарию и уехал в город Нежин (совр. Украина) без гроша денег, но с огромным желанием поступить в педагогический институт.
В 1912 году, блестяще выдержав экзамены, он был зачислен на филологический факультет института, на так называемый, казенный кошт, тоже в счет 3% нормы как «инородец». Это было неслыханное потрясающее счастье! Но чтобы не потерять казенное содержание, т.к. без этого он не мог продолжать учебу, ему все 4 года нужно было учиться на «хорошо» и «отлично».
Именно здесь в педагогическом институте была заложена любовь к языкознанию.
В институте он изучал латинский, украинский и другие языки.
Позднее Анатолий изучил языки прибалтийских народов, а также финский и китайский. Свободно владея многими языками, благоговейно преклоняясь перед великим русским языком, он горячо любил свой родной эрзянский язык, верил в его потенциальные возможности. И он с головой ушел в изучение родного языка. Всю свою жизнь А.П. Рябов отдал развитию мордовского языкознания.
Анатолий Павлович написал ряд исследовательских работ по мордовскому языкознанию, несколько учебников для мордовских школ и словари: «Об ударении в эрзя-мордовском языке» (1932 г), «Очередные задачи языкового строительства в Мордовской автономной области» (1933), «Итоги языковой конференции Мордовии 1933 – 1935 гг.», «Эрзянь – рузонь валкс» (1930 г.), «Уроки эрзя-мордовского языка (1931),
«Эрзя-келень грамматика» (Москва, 1935 г.), «Грамматика эрзя-мордовского языка». «Морфология и синтаксис» (Часть 1 и 2, Москва, 1935 г.) и многие другие.
Все свои творческие изыскания в области языкознания он сразу же использовал на практике: делал доклады, сообщения, участвовал в языковых конференциях, съездах, и где только мог, поднимал вопросы языкового строительства.
А.П. Рябов соединил научную работу с педагогической практикой. После окончания пединститута он работал преподавателем учительской семинарии в Омске (1917–1921 гг.), затем в Коммунистическом университете трудящихся Востока в Куйбышеве (1926–1933 гг.). С 1925 года по 1929 год Анатолий Павлович учился в аспирантуре при научно-исследовательском институте Народов Советского Востока. Его приглашали работать в Академию наук, но он отказался, так как всегда стремился жить и работать «поближе к дому».
И вот, наконец, с 1933 года, почти с момента открытия Мордовского государственного педагогического института, А.П. Рябов – заведующий кафедрой литературы и языка. Здесь он читал курс мордовского языка. А 11 апреля 1934 года постановлением Высшей Аттестационной Комиссии Наркомпроса Анатолию Павловичу было присвоено звание профессора. Работать ему в этом звании пришлось недолго. В 1938 году он стал жертвой сталинских репрессий. В этом году в Саранске он погиб.
28 ноября 1956 года Военной коллегией Верховного суда СССР Анатолий Павлович Рябов был посмертно реабилитирован.
В МРОКМ им. И.Д. Воронина собран материал о мордовском языковеде. В экспозиции музея выставлены учебники, написанные А.П. Рябовым, имеется фотоматериал в разделе «Репрессии на территории Мордовии».
Дело, начатое А.П. Рябовым и другими мордовскими учеными, относящимися к первому поколению языковедов, успешно развивается и в наши дни.

Информация с сайта Мордовского Республиканского Объединенного Краеведческого музея http://www.mrkm.ru/news/?id=600