Mardin'de müze ilk olarak.1947 yılında Zinciriye(Sultan İsa) Medresesi binasında hizmet vermeye başlamıştır. Zinciriye Medresesinde toplanan ve sergilenen eserler 1988 yılında Kültür Müdürlüğüne taşınmıştır.

1895 yılında Antakya patriği İğnatios Benham Banni tarafından Meryem Ana Kilisesine bağlı patrik­hane olarak yaptırılan bina 1988 yılında. Kültür Bakanlığı tarafından satın alınarak restorasyonuna başlanmış, 1994'te tamamlanmış, 1995 yılında müze olarak kullanılmaya başlanmıştır.

Üç katlı Mardin Müzesinde

I. Katta danışma yeri, konferans, sergi ve dinlenme salonları

II. Katta etnografya sergi salonu ve kütüphane yer alır.

III. Katta arkeolojik eserlerin sergilendiği ( Hayat ERKANAL Başkanlığında 1982-1991 yılları arasında Gırnavaz Höyükte yapılan kazılar sonucu çıkarılan eserlerin teşhir edildiği) salon ve idareye ait odalar bulunmaktadır.

Müzede M.Ö.4 binden günümüze kadar uzanan Asur, Urartu. Grek, Pers, Roma, Bizans, Selçuklu, Artuklu ve Osmanlı devirlerine ait ender teşkil eden keramikler. Damga ve silindir mühürler sikkeler, kandiller, figürinler. Gözyaşı şişeleri, takılar, sikkeler, vazolar sergilenmektedir.

Mardin Müzesinde. 10113 adet sikke. 3754 adet Arkeolojik ve 1102 etnografik eserler olmak üzere 14.969 eser vardır.