Hititler, Urartular, İskitler, Makedonlar, Romalılar, Bizanslar, Selçuklular ve Osmanlının izleri mevcuttur.
İlk zamanlardaki adları Gymnias ,Canca ve Çaniçe'dir.
Bizans zamanında gümüş şehri anlamına gelen Argiropolis adı ile anılır.
Katip Çelebi'nin eserinde Kaza-i Urla olarak geçer.

Eski kayıtlarda gümüş yataklarından bahsedilir. Evliya Çelebinin eserinde, Büyük İskender'in hakimlerinden birinin bu gümüş yataklarından birini bulduğu ve Canca şehri ve kalesinin onarıldığı yazar.
İlk gümüş sikkeler bu bölgede basılır. Ayrıca gümüş kaşık, çatal ve tabak olduğundan da bahsedilir. Bu maden yatakları nedeniyle tarihi İpek Yolu üzerindedir.

Zengin gümüş madeni yatakları nedeni ile ilin adı Gümüşhane olarak değiştirilir ancak ilk zamanlarda Canca adı kullanılmaya devam eder. 1730'lardan sonra sikkelerde Gümüşhane adı geçmeye başlar.
Önce Erzurum sonra Trabzon Beylerbeyliklerine bağlanır. Cumhuriyet döneminde Trabzon Sancağından ayrılıp il olarak kabul edilir.