Hititler, Frigler, Bitinya Krallığı, Romalılar, Bizanslılar ve Osmanlının izleri mevcuttur.
Kentin eski adları Pylopyhia-Pylai ve Xenodochion'dur. Yöre Halizones toprakları , Yalokonya ve Kibetos olarak geçer. Güneyindeki dağların eski adı Arganthonios'dir. Kaplıcalarının adı ise Pythia Therma 'dır.

Yalokos-Yalos Yunancada sahil anlamındadır. Dilimizdeki yalı kelimesi de aynı anlamındadır ama daha çok görkemli sahil evi için kullanılır. Yalı Ova olarak anılmaya başlanan bölge adı zamanla Yalova'ya çevrilir.
Evliya Çelebi, bölgeye hakim olan Kara Yalvaçoğlu nedeniyle adının Yalovaç olduğunu yazar.
Osmanlı döneminde Yalakova ve Yalakabad adları kullanılır. Hüdavendigar eyaletine bağlı bir kazadır.
Cumhuriyet döneminde 1930 yılında Atatürk'ün isteği ile İstanbul ilinin bir ilçesi olur. 1995 yılında il olarak kabul edilir.