В работах большинства ярославских краеведов отмечается, что основание храма произошло после 1612 года, когда в часовне рядом с деревянной церковью Афанасия и Кирилла была обретена чудотворная икона Спаса Нерукотворного. Ряд источников указывает, что храм существовал ранее, уже в XVI веке.

Ранние монастырские постройки были деревянными, обитель в XVII веке не раз выгорала во время пожаров. Первую каменную церковь обители во имя Афанасия и Кирилла возвели в 1664 году. Над росписями храма работали мастера из Москвы. В 1736 году к Афанасьевскому монастырю была приписана Знаменская часовня.

Территория храма была небольшой, с восточной и северо-восточной сторон обнесена невысокой каменной стеной. На парадном восточном фасаде располагались две небольшие каменные башни. Одна из них служила Святыми воротами, в другой находилась часовня в память об обретении на этом месте чудотворной иконы Спаса Нерукотворного. В 1820-1830-х годах в монастыре велись значительные работы по его благоустройству. Были сооружены каменные двухэтажные настоятельные покои с трапезной палатой, две братские кельи, новый иконостас.

Вновь перестройке монастырь подвергся в начале ХХ века. На средства Ф.Е. Вахромеева проводились ремонтные работы в соборной церкви.
В феврале 1925 года монастырь закрыли. В 1930-х годах разобрали колокольню, в церкви Афанасия и Кирилла и части других строений разместились производственные мастерские и организации, в братском корпусе поселились люди.

В ноябре 2007 года храм и ограда с башнями Святых ворот были переданы Русской Православной церкви.