W pieczarach wokół dawnego obszaru bagiennego, na którym Jelsa dziś leży, osiedlano się już w neolicie. Później Grecy wznieśli wieżę widokową Tor, którą i dziś jeszcze można zwiedzać. Miejscowość, którą dziś 1600 ludzi nazywa swoją ojczyzną, wyrosła w czasie ataków tureckich do znacznej wielkości, bo mieszkańcy stałego lądu szukali tu ochrony. Kiedyś żyło tu tak wielu ludzi, że osuszono nienadający się do zabudowy grunt i wzniesiono nowe osiedla mieszkalne — dzisiejszą Jelsę. Dzięki przemysłowi stoczniowemu i równolegle powstałym restauracjom, barom i sklepom Jelsa jest obok Hvaru i Ploče jedyną miejscowością, która potrafiła rozszerzyć swój charakter wiejski. Dziś turyści napływają do miasta okolonego łąkami ziołowymi, które obok zwykłych kwater może też poszczycić się tanim kempingiem.