Hurriler-Subarular, Sümerler, Akadlar, Partlar, Romalılar, Bizanslılar, Araplar, Selçuklular, Zengiler, Artuklular, Moğollar, Karakoyunlular, Akkoyunlular, Safaviler ve Osmanlının izleri mevcuttur.
*Mardin ili kil mührü: Başka hiçbir medeniyetin elinde bulunmayan taş-kil mühürler incelemeye değerdir.

Süryanice kaynaklarda Marde,
Arapça kaynaklarda Maridin olarak geçer.
Bazı yabancı kaynaklarda Margdis adına rastlanır.
İlin adı Mardeler isimli savaşçı bir kavimden geliyor olabilir.
Veya Merdin kelimesinde geliyor olabilir ki anlamı kalelerdir.
İl adı olarak Maridin adı benimsenir ve Mardin olarak dilimize geçer.

Osmanlı döneminde Diyarbekir Vilayetine bağlıdır. Mardin Sancağı, Mardin Livasıdır. Bir dönem Bağdat Eyaletine bağlı bir kaza olur. Bir süre de Musul'a bağlı kalır. Akabinde Cumhuriyet dönemine kadar tekrar Diyarbekir'e bağlı bir sancaktır. Cumhuriyet döneminde il yapılır.