V jeskyních okolo dřívějšího bažinatého území, na němž Jelsa dnes leží, se osazovalo už v neolitu. Později vztyčili Řekové rozhlednu Tor, kterou lze i dnes prohlédnout. Místo, které dnes 1600 lidí nazývá svým domovem, narostlo během tureckých útoků do pozoruhodné velikosti, neboť obyvatelé pevniny zde hledali ochranu. Někdy zde žilo tolik lidí, že se nezastavitelná půda vysušila a vztyčila nová obytná sídliště — dnešní Jelsa. Díky loďařskému průmyslu a paralelně vzniklým restauracím, barům a obchodům je Jelsa vedle Hvaru a Ploče jediným místem, které dokázalo rozšířit svůj vesnický charakter. Dnes turisté proudí do města obklopeného bylinnými lukami, které vedle obvyklých nocležišť může nabídnout i výhodný kemp.