Der Ursprung des Namens Jolly Roger ist unbekannt. Einige sind der Ansicht, er sei eine Verballhornung des indischen Piraten Ali Rajah, dessen Namen die Briten Olly Roger aussprachen; möglicherweise stammt er aber auch vom französischen joli rouge (hübsches Rot) ab, da die ersten Piraten eine blutrote Flagge hissten als Zeichen, dass sie alle töten würden, falls sich die Besatzung des Beuteschiffes nicht sofort ergeben sollte. Angeblich wurde sie von Calico Jack Rackham erfunden, doch dies ist nicht gesichert. Als erste gesicherte „Jolly Roger“ gilt die des franz. Piraten Emanuel Wynne.
Für die Annahme, dass der Jolly Roger auf die rote Flagge zurückzuführen ist, spricht der Umstand, dass bis zum Entstehen des Piratentums im 16. und 17. Jahrhundert die rote Flagge als Quarantäneflagge galt und die Bedeutung hatte „Achtung, wir haben möglicherweise eine Krankheit an Bord, die jeden töten wird, der sich uns nähert.“ Und tödlich bei Annäherung wollten die Piraten ja sein. Außerdem erhielt die Quarantäneflagge in fast jeder Seefahrernation im 17. Jahrhundert einen Schwalbenschwanz, wahrscheinlich um Verwechslungen mit Piraten auszuschließen. Die britische Marine verbot jedenfalls das Führen ausschließlich roter Fahnen im Arabischen Meer, Schiffe mit solchen Fahnen wurden als Piraten behandelt; deswegen haben die Flaggen von Bahrain und Katar noch heute ihre gezackte Form. 1694 hatte die Admiralität angeordnet, dass britische Freibeuter die rote Flagge zu führen hatten. Als 1714 der Krieg gegen Spanien endete, machten sich etliche der dann überflüssigen Freibeuter selbständig und kaperten auf eigene Rechnung auch britische Schiffe unter Beibehaltung ihrer roten Flagge.
Anderen Quellen zufolge führten die frühen Piraten zwei Flaggen, von denen sie je nach Bedarf eine hissten: Die rote Flagge war das Zeichen, keine Gefangenen zu machen (d. h. alle zu töten) und die schwarze Flagge, Gefangene zu nehmen zwecks Lösegeld. Deswegen war die rote Flagge noch gefürchteter als die normale schwarze Flagge, joli rouge demnach ein Euphemismus.
Solange ein Piratenschiff auf der Suche nach Beute war, lief es oft unter falscher Flagge (Flagge des Opfers/eines Verbündeten des Opfers), um sich seinem Opfer ungestört nähern zu können. Der „Jolly Roger“ wurde erst kurz vor dem Angriff gehisst, um unter den Besatzungen potenzieller Beuteschiffe schon vor dem eigentlichen Entern Schrecken zu verbreiten. Daneben signalisierte es die Todesverachtung der Piraten und ihre Verachtung vor hoheitlichen Insignien anderer Länder auf hoher See. Später wurde diese Taktik auch von regulären Kriegsschiffen angewendet. So wurde Hamidou Reis 1815 von amerikanischen Schiffen gefangengenommen, die den Union Jack zeigten.
Das klassische Motiv des Jolly Roger, ein Totenschädel mit zwei gekreuzten Knochen, wurde erstmals von dem französischen Piraten Emanuel Wynne um 1700 verwendet. Es gab aber auch andere Variationen mit gekreuzten Entermessern oder ganzen Skeletten. Oft wurde auch eine Sanduhr darauf abgebildet, um den Opfern zu zeigen, dass ihre Zeit abgelaufen war. Andere Symbole wie Pfeile und Speer sollten einen gewaltsamen und raschen Tod andeuten, während ein blutendes Herz für einen langsamen und grausamen Tod stand.
Der Schädel mit den gekreuzten Knochen und die Sanduhr waren weit verbreitete Symbole auf Friedhöfen. Ein Beleg findet sich in dem Graphikzyklus "The four stages of cruelty" von William Hogarth erschienen im Jahre 1751: Auf dem dritten Bild kann das Totenkopfmotiv mit den gekreuzten Knochen gesehen werden, das ein Grab schmückt.
Passenderweise heißt das Piratenschiff von Captain Hook aus J. M. Barries „Peter Pan“ ebenfalls „Jolly Roger“ und ist in rot-schwarzen Farben gehalten.
Bei den ostasiatischen Piraten war der Jolly Roger dagegen unbekannt. So gab es um 1810 im Südchinesischen Meer sechs große Gruppen von Piraten, die ihre Schiffe mit roten und schwarzen, aber auch weißen, grünen, blauen und gelben Fahnen kennzeichneten.
Die heute aktiven Seeräuber, insbesondere in den Gewässern um Indonesien, der Straße von Malakka und im Arabischen Meer, verzichten meistens auf das Führen von Flaggen, die sie als Piraten zu erkennen geben.
Ein Zusammenhang zwischen dem Jolly Roger und einigen saudi-arabischen Flaggen, die je nachdem eine goldene oder silberne Palme oder einen ebenso gefärbten Anker jeweils über zwei gekreuzten Schwertern auf grünem Grund zeigen, besteht nicht.
