Музей был создан в 1939 г. по инициативе местной общественности как Музей имени И. В. Сталина. В марте 1957 г. решением Совета министров музей был реорганизован в мемориальный музей Первой Конной армии.
С 1 по 7 декабря 1919 г. в доме великомихайловского крестьянина Кравцова А. М. размещался штаб Первой Конной армии. 6 декабря 1919 г. состоялись заседания Реввоенсовета, на котором был зачитан и подписан приказ № 1 «О преобразовании Конного корпуса Южного Фронта в Первую Конную армию». На заседаниях присутствовали И. В. Сталин, С. М. Будённый, И. Е. Егоров, Е. А. Щаденко и К. Е. Ворошилов.
Изюминкой музея является мемориальная комната, где размещался штаб Первой Конной армии и проходили заседания Реввоенсовета. В мемориальной комнате все оставлено так, как было в 1919 г.: сохранилась подлинная мебель – два кресла, сундук, стол лампа «молния». В момент завершения строительства дома на мощной балки – матице, была нанесена надпись: «Божьем благословением сей дом строился в 1882 году освящен ноябрь 13», надпись никогда не реставрировали она прекрасно сохранена и …