L'origine du nom viendrait du latin insula île et peut‑être du préceltique illa, terme d'hydronymie signifiant rivière ou bras de rivière. Selon une légende tenace, mais fausse, Henri IV, de passage à Marans aurait fait don à sa maîtresse Corisande du lieu, devenu alors île à Elle. Ilot le plus élevé de l'ancien golfe, nommé à partir du XIXe siècle, golfe des Pictons, l'île d'Ella devient l'île d'Elle. La découverte de haches en pierre polie démontre que la commune fut habitée dès le néolithique. Des vestiges de l'époque gallo‑romaine des IIe et IIIe siècles ont été retrouvés à plusieurs reprises. L'île d'Elle apparaît dans les textes au XIIe siècle, mentionnée sous la forme De Ella puis, dénommée Insula de Ella au XIIIe siècle. Elle dépend de la paroisse de Marans en Aunis et possède le prieuré Saint‑Hilaire qui relève de l'abbaye de Maillezais. Jusqu'au XVIIIe siècle, son territoire est détenu par le seigneur de Marans, celui de La Guérinière et le prieur du lieu. La Révolution détache l'île d'Elle de l'Aunis en 1791 pour en faire une commune du département de la Vendée nouvellement créée. La commune fut notamment connue pour son importante activité de vannerie qui compte près de 200 vanniers au XIXe siècle, et de poterie puisque c'est du marais qu'est extrait l'argile qui alimente tuileries et briqueteries.