U pećinama oko prijašnjega močvarnoga područja, na kojem Jelsa danas leži, naseljavalo se već u neolitiku. Poslije su Grci podigli promatračku kulu Tor, koja se i danas može razgledati. Mjesto, koje danas 1600 ljudi naziva svojom domovinom, tijekom je turskih napada naraslo do znatne veličine, jer su stanovnici kopna ovdje tražili zaštitu. U jednom je trenutku ovdje živjelo toliko ljudi da se neizgradivo zemljište isušilo i podigla nova stambena naselja — današnja Jelsa. Zbog brodograđevne industrije i paralelno nastalih restorana, barova i trgovina Jelsa je uz Hvar i Ploče jedino mjesto koje je moglo proširiti svoj seoski karakter. Danas turisti naviru u grad okružen travnjacima ljekovitoga bilja, koji uz uobičajene smještaje može ponuditi i povoljan kamp.