Ce procès aurait lieu au tribunal de Carthage (Illinois), siège du comté de Hancock. Il leur fit aussi la promesse d'une protection totale. Afin de se mettre à l'abri, Joseph et Hyrum Smith décidèrent d'abord de se réfugier vers l'ouest et, le 23 juin, ils traversèrent le Mississippi. Mais des mormons venus de Nauvoo vinrent les trouver et leur dirent que des troupes envahiraient la ville s'il ne se rendait pas aux autorités. Joseph et Hyrum Smith consentirent alors à se constituer prisonniers. Joseph Smith aurait alors dit : "Je vais comme un agneau à l'abattoir, mais je suis calme comme un matin d'été" [73]. Le 24 juin, ils partirent pour Carthage et, le lendemain, se rendirent à l'agent de police William Bettisworth. Le 26 juin, le Général Joseph Smith eut un entretien avec le Gouverneur Ford lui promettant sa protection [74].
Joseph et Hyrum furent incarcérés dans la prison de Carthage, en attendant de passer en jugement. John Taylor et Willard Richards, alors seuls membres des Douze à ne pas être en mission, se joignirent volontairement à eux.
Sans attendre le procès, l'après-midi du 27 juin 1844, une foule d'environ 200 émeutiers, aux visages peints en noir, prirent d'assaut la prison de Carthage. Compte tenu de l'inégalité des forces en présence, l'issue de l'attaque ne faisait guère de doute. Hyrum Smith, le premier, fut tué par une balle tirée à travers la porte. Puis John Taylor fut grièvement blessé. Joseph Smith fut tué alors qu'il tentait de s'enfuir par la fenêtre située au premier étage de laquelle il tomba. Son corps gisait à côté du puits extérieur[75]. Seul William Richards en sortit indemne.
Selon les émeutiers, témoins occulaires présents au moment de l'attaque, Joseph et Hyrum, en prison, étaient armés et firent tous deux usage de leurs pistolets, Joseph Smith aurait tiré sur les assaillants, déchargé son six-coups et blessé trois hommes. L'un d'eux, Wills, aurait été touché au bras, un autre, Gallaher, au visage, et un dernier, Voras, à l’épaule[76]. Selon ces mêmes témoignages : "ces trois-là avaient dit qu’ils avaient été les premiers à la prison, que l’un d’eux avait tiré à travers la porte, tuant Hyrum, que Joseph les avait blessés tous les trois avec son pistolet et que Gallaher avait abattu Joseph tandis que celui-ci courait vers la fenêtre..."[77].
Plus tard, l'État d'Illinois mit en accusation Wills, Gallaher et Voras, parmi 9 hommes pour le meurtre de Joseph Smith : « John Wills, William Voras (Vorhees), William N. Grover, Jacob C. Davis, Mark Aldrich, Thomas C. Sharp, Levi Williams et deux hommes appelés Gallaher et Allen, dont les prénoms ne sont pas cités.»[78], lesquels auraient été acquittés.
Les circonstances de la mort de Joseph Smith ont été très controversées. John Taylor, apôtre mormon en compagnie de Joseph Smith lorsque celui-ci fut assassiné, déclara « avoir été informé » que des assaillants étaient morts dans l'affrontement, sous les tirs de Joseph Smith : « Joseph ouvrit la porte doucement et fit feu six fois successivement … je compris ensuite que deux ou trois furent blessés par ces décharges dont deux, j’en fus informé, moururent »[79].
Cependant, l'Église de Jésus-Christ des saints des derniers jours dément et aucun élément décisif n'a pu être apporté permettant d'affirmer qu'un des assaillants blessés par Smith soit ensuite mort de ses blessures.
Par ailleurs, pour les détracteurs du mormonisme, le fait que Joseph Smith se soit défendu et ait répliqué avec son arme n'est pas compatible avec la qualification de "martyre" qui, selon eux, présuppose une mort consentie pour un idéal religieux. Pour sa part, l'Église de Jésus-Christ des saints des derniers jours souligne que le meurtre de Joseph Smith a été perpétré par une foule nombreuse et dans un déchaînement de violence tel que cela ne laissait guère de chance aux détenus, qui peuvent dès lors être considérés comme des victimes. Elle estime que Joseph Smith et son frère se sont légitimement défendus selon le principe de la légitime défense et qu'ils ont été abattus à cause de leurs convictions religieuses, ce qui, selon elle, autorise à les qualifier de "martyrs".
John Taylor écrivit ainsi : « Nous annonçons le martyre de Joseph Smith, le prophète, et de Hyrum Smith, le patriarche. Ils furent tués à coups de fusil, le 27 juin 1844, vers cinq heures de l'après-midi, dans la prison de Carthage, par des émeutiers armés, peints de noir, forts d'environ cent cinquante à deux cents personnes. Hyrum fut abattu le premier et tomba calmement, s'exclamant : Je suis mort ! Joseph sauta par la fenêtre et fut mortellement atteint dans sa tentative, s'exclamant : Ô Seigneur, mon Dieu ! On tira brutalement sur eux, alors qu'ils étaient déjà morts, et tous deux reçurent quatre balles… Hyrum Smith eut quarante-quatre ans en février 1844, et Joseph Smith eut trente-huit ans en décembre 1843… »[80].
Les saints firent des préparatifs pour quitter l'est des Etats-Unis et, les persécutions s'intensifiant, l'exode des pionniers mormons vers les Montagnes Rocheuses débuta en hiver 1846-1847. Dirigés par Brigham Young, nouveau président de l'Église de Jésus-Christ des saints des derniers jours, ils parcoururent ainsi 2 000 km avant d'atteindre le désert du Grand Lac Salé. Ils y fonderont une nouvelle ville, Salt Lake City,
Sa veuve, Emma Hale, resta en charge de leurs cinq enfants. En désaccord au sujet de la polygamie avec Brigham Young (elle affirma toujours que son mari, Joseph Smith, ne l'avait jamais pratiquée), elle ne suivit pas l’Église en Utah. Elle se remaria, en 1847, devant un pasteur méthodiste, avec Lewis C. Bidamon, un non-mormon. Elle revendit en 1856 à un certain Abel Coombs les papyrus acquis par Joseph Smith en 1835, lesquels avaient été à l'origine du Livre d'Abraham.
L'un des fils de Joseph Smith et d’Emma Hale, Joseph (Joseph Smith III), devint en 1860 le premier président d'un groupe mormon dissident : l’Église réorganisée de Jésus-Christ des Saints des Derniers Jours, aujourd’hui rebaptisée Communauté du Christ. Des descendants directs de Joseph Smith ont dirigé cette Église jusqu’en 1996.
À Salt Lake City, les 6e et 10e présidents de l'Église de Jésus-Christ des saints des derniers jours, Joseph F. Smith (1838-1918) et Joseph Fielding Smith (1876-1972) furent quant à eux, respectivement, le fils et le petit-fils d’Hyrum, frère aîné de Joseph Smith, qui fut assassiné avec lui à Carthage (Illinois), le 27 juin 1844.
En 1976, le gouverneur Bond, de l’État du Missouri a révoqué l’ordre d’extermination lancé en 1838 contre les saints par le gouverneur Lilburn W. Boggs.