Построен по указу Александра I в 1821-1823 гг. (проект губернского архитектора П.Я. Панькова). Дом являлся не только официальной резиденцией ярославских губернаторов, но и императорским путевым дворцом для приезда высочайших особ.
Трёхэтажное, первоначально увенчаное бельведером, здание с двумя флигелями главным фасадом выходит на набережную Волги. Устроенная напротив полукрулая терраса набережной, как бы продолжавшая балкон дома, виднеющаяся невдалеке изящная беседка-ротонда связывают здание с пейзажем, создавая постепенный переход от жилого пространства дома к бескрайнему простору реки.
В середине XIX века здание было существенно перестроено, а флигели, ограда с воротами и конюшенный корпус, входящий в усадебный комплекс, разобраны. К настоящему времени сохранилось главное здание, в нем сейчас находится художественный музей, и обширный сад позади него.
С 1821 по 1917 год в Губернаторском доме жили, правили губернией и принимали гостей 17 губернаторов. Здесь побывали все российские императоры от Александра I до Николая II.
С 1917 года изменились функции здания, здесь находились различные государственные учреждения:
1923 г. – Ярославский уездный исполком
1936 г. – Высшая партийная школа
1960 г. – Технологический институт
В 1969 г. здание передано Ярославскому художественному музею.
С 1970 года Губернаторский дом – основное здание Ярославского Художественного музея. В соответствии со статусом Губернаторского дома, возвращенного главному зданию музея в 1994 году, здесь проходят Губернаторские приемы.
Сегодня здесь располагается постоянная экспозиция "Русское искусство XVIII-XX вв." и выставочные залы.
красивое здание по сравнению с 2007 годом фасад отремонтировали жаль что набережную не реставрировали по проекту 1000 летия если сделают позднее будит прекрасно