Grad je možda nastao u prvoj polovini VI vijeka kada je bio jedan od gradova Justinijanovog limesa, koji je tekao sa juga preko Stoca dalje na sjever prema Koštunu, Blagaju i Biogradu kod Konjica (hipoteza Đure Baslera).
U historijskim izvorima Stolac se javlja 1375, a 1436. godine spominje se neki “Gojaković od Stoca do Vidoškog polja’’. Kako je pored Stoca prolazio put iz Dubrovnika za Nevesinje, Blagaj i Dubravu, dubrovački izvori ga spominju u vezi sa pljačkom svojih trgovaca 1444. godine.
Kao posjed Stjepana Vukčića spominje se kao Vidošić i Vidoški u poveljama kralja Alfonsa V od 19.2.1444. i 1.6.1454. kralja i Fridrika III od 20.1.1448. godine. Kao teritorij Stjepana Vukčića spominje se i 13.6.1465. godine. U drugoj polovini XVII vijeka više puta je napadan od Mlečana. Nakon Karlovačkog mira 1699. godine, Stolac je popravljen i postao je sjedište kapetanije.
Godine 1664. u Stocu je boravio Evlija Čelebija. U njegovom opisu Stoca nema spomena gradu ni posadi. To ne znači da Vidoški nije postojao bar u ruševnom stanju, ali posade nije imao. Evlija Čelebija spominje utvrđene kule uz pojedine kuće. Za Kretskog i Bečkog rata (1645-1660. i 1683-1699) udarale su Mletačke čete na Stolac. Kako su nakon mira u Karlovcima sagrađeni i prošireni gradovi u Mostaru, Ljubinju, Trebinju… vjerovatno je tada popravljen i proširen stari grad Vidoški i u njega stavljena posada s dizdarom na čelu, a u isto doba ustrojena i Vidoška kapetanija.
Sredinom XVIII i XIX vijeka tvrđava je popravljana još dva puta. Poslije 1835. u Stocu ostaje manja posada, a nakon 1878. godine Austro-Ugarska je grad popravila i izgradila novu tvrđavu. Tada je porušen dio najranijeg grada.
Stolac je u srednjem vijeku imao značajno podgrađe Podstolac. Đuro Basler smatra da je grad kroz sve periode prošlosti sačuvao obim i forme prvobitnog Justinijanovog grada sa kastrumom na brijegu i bedemom opasanim podgrađem, utvrđenim zidovima i kulama koje se spuštaju prema rječici Bregavi.
Danas su dobro sačuvani bedemi i kule utvrđenog podgrađa, dok je prvobitni castrum uveliko razoren kasnijim intervencijama.
Baslerovo mišljenje da je utvrđeni grad Stolac kasnoantički castrum sa utvrđenim podgrađem, koji je sačuvao obim iz Justinijanovog vremena, dovedeno je u sumnju početnim arheološkim istraživanjima kojima je posljednjih godina rukovodio Pavao Anđelić.
Naime, u utvrdi dominira turska izgradnja. Radovi su nastavljeni s ciljem da se izdiferenciraju gradnje srednjeg vijeka i perioda turske uprave, i da se ponudi dokumentovan odgovor na hipotezu o antičkom Stocu, ili njegovim dijelovima.
I danas iznad Stoca stoje visoke kamene zidine sa kojih se pruža divan pogled na grad – Bregavu, Vidovo polje i okolna brda.
Stari grad Vidoški jedan je od najvećih gradova ovog tipa na prostoru cijele Bosne i Hercegovine.
“Složeni sistem kamenih zidova i kula upućuje na postojanje više građevinskih etapa, koje je teško razdvojiti. Grad je primjer kasnoantičke utvrde sa elementima grčkog građevinarstva i helenističke tradicije”, kazali su za Radiosarajevo.ba iz Komisije za očuvanje nacionalnih spomenika BiH.
Stari grad Stolac proglašen je 2003. godine nacionalnim spomenikom Bosne i Hercegovine.