In den Höhlen um das ehemalige Moorgebiet, auf dem Jelsa heute liegt, wurde schon im Neolithikum gesiedelt. Später errichteten Griechen den Aussichtsturm Tor, der auch heute noch besichtigt werden kann. Der Ort, den heute 1600 Menschen ihre Heimat nennen wuchs während der türkischen Angriffe auf eine beachtliche Größe an, da Festlandbewohner hier Schutz suchten. Irgendwann lebten so viele Menschen hier, dass man den unbebaubaren Boden trocken legte und neue Wohnsiedlungen errichtete – das heutige Jelsa. Durch die Schiffsbauindustrie und die parallel entstandenen Restaurants, Bars und Geschäfte ist Jelsa neben Hvar und Ploce der einzige Ort, der seinen Dorf-Charakter erweitern konnte. Heute strömen Touristen in die von Kräuterwiesen umgebene Stadt, die neben den üblichen Unterkünften auch mit einem günstigen Campingplatz aufwarten kann.
