Деньги на стройку нового величественного объекта на Александровской площади дало купечество. Свою историю музей ведет с 1872 года. Оригинальное архитектурное решение принадлежит Павлу Воскресенскому. Сам архитектор понимал, что его творению уготована долгая жизнь. По этому поводу он написал в местной газете, что «строит для будущего». По мнению автора проекта, в здании вполне могла разместиться зала для концертов либо же народная аудитория.
Изначально, как удалось выяснить ставропольскому краеведу Герману Беликову, в здании сегодняшнего музея обосновались местные купцы. Закипела бойкая торговля. А потом искусство взяло верх. Собственно с этого момента, 1911 года, начинается летопись самого музея. Георгий Праве, прежде ютившийся в маленьком помещении, организовал в Гостином ряду первую экспозицию. Свои экспонаты он пристроил на балконе, и сегодня хорошо знакомом посетителем музея. На нем выставлены редкие образцы бабочек.
Праве дал современникам возможность лицезреть разного рода учебные пособия, а также коллекции своих друзей – ботаников и историков. Так Ставрополь увидел древнее персидское оружие, шашки, булавы, уникальные монеты. Экспозиция стала заметно полнее после окончания Первой мировой войны. В нее вошли экспонаты музея Самурского пехотного полка, сформированного на Ставрополье. Так в музей попала уникальная коллекция кавказского оружия, ставшая основой его «оружейной палаты». Уже в советскую эпоху музей получил во владение и нижний, торговый этаж. В советские же годы в музей попали картины, которые некогда принадлежали буржуазии. «Раскулачили» в том числе и наследников купца Алафузова.
Важной вехой в истории музея стал 1927 год, когда произошло объединение с музеем Северного Кавказа им. Г. Прозрителева. В 20-е годы ХХ столетия художественный отдел украсили полотна Левитана, Брюлова, Поленова, Левицкого. Их Ставрополю подарили музейщики Московского центрального хранилища музейного фонда.
В годы оккупации музею пришлось трудно. Фашисты забрали полотна Айвазовского, Верещагина, Писемского, а само здание намеревались сжечь. Благо, коварному плану помешали дети, юные патриоты во главе с Володей Косиновым. Варварский акт был предотвращен, но сами юные герои погибли.