Крепостта „Баба Вида“ е изградена върху стари римски основи от античния град Бонония. Българският градеж е от втората половина на Х в., който по стил и характер е различен от римския. В края на 10-и век започва строежът на „Баба Вида“ и тя в началото е била в трапецовидна форма, по ъглите е имало по една кула.
Строителството на крепостта „Баба Вида“ отразява различните исторически периоди.
През Средновековието се дострояват големите кули – Войнишката, Страцимировата кула. Най-късно е построена Австрийската кула в края на 17-и началото на 18-и век, по време на едно кратко пребиваване във Видин на австрийците. И така се променя целият архитектурен облик на Баба Вида.
През Възраждането се строи крепостната система, която днес е запазена около река Дунав. Най-голямо строителство в крепостта е осъществено по времето на Иван Страцимир (1355-1396). По негово време крепостта е била Княжески замък. Средновековният град Видин е бил с ядро като централната част е бил квартал „Калето“,а крепостта Баба Вида си е имала своите функции в края на града и така се обособяват части на вътрешен и външен град. Това е характерно за Средновековието, което се наблюдава в много наши градове, които археологически са проучени.
С установяването на османската власт в крепостта е настанен военен гарнизон, имало е военни. При преустройствата се губи средновековният характер на крепостта. Вътре се изграждат около 30 помещения. Те са проучени, една част от тях се движат към вътрешния двор и“ Баба Вида“ на практика сега изглежда като турска крепост, а всъщност тя не е. Нейното ядро е средновековно. Много престроявания се правят по време на османското владичество. От тогава е външният крепостен зид. Османската власт ползва Баба Вида като отбранителна крепост.
Крепостта престава да служи за отбрана едва през XVIII век, когато Семи паша, през 1854 г., превръща крепостта във военно-археологически музей, просъществувал единствено до Освобождението през 1878 г. При окупацията на Видин от румънските войски той бива разграбен. През Сръбско-българската война от 1885 г. крепостта е служила на защитника на града – майор Узунов, като в нея са складирани боеприпаси.
През Балканската война тя е използвана за наблюдателен пункт на дунавската отбрана, както и през Първата световна война /1914-1918 г./ Първите археологически проучвания на крепостта Баба Вида започват 1956 г. с около 30 сондажа около Баба Вида и вътре в нея. Днес тя е паметник на културата с национално значение и е предпочитано място за провеждане на фестивали и други културни прояви.
