Auch wenn der Leitspruch des Ordens "Deus lo vult" (Gott will es) dies nahelegen könnte: Der Ritterorden vom Heiligen Grab zu Jerusalem stammt nicht aus der Zeit der Kreuzzüge. Er verdankt seinen Ursprung dem seit 1335 belegten Brauchtum mittelalterlicher Ritter, den Ritterschlag am Heiligen Grab in Jerusalem, gewissermaßen von Christus als dem höchsten Lehnsherrn, zu empfangen. Der Ritterschlag konnte durch einen anderen Ritter vollzogen werden, wurde jedoch bald Privileg des Guardians der Franziskaner, der Wächter des Heiligen Grabes, die in Vollmacht und unter Förderung der Päpste dieses Brauchtum lebendig erhielten. Im Mittelalter bildeten sich in mehreren Ländern Vereinigungen der Ritter vom Heiligen Grab. Diese jedoch ohne gemeinsame, verfaßte Ordensregeln.

Den entscheidenden Wendepunkt in der Entwicklung des Ritterordens markiert die Wiedererrichtung des Lateinischen Patriarchats in Jerusalem im Jahr 1847. Das Vorrecht der Verleihung der Ritterwürde wurde von Papst Pius IX (1846­ - 1878) unter Beibehaltung aller anderen Festsetzungen, betreffend die Ritter des Heiligen Grabes, dem Patriarchen übertragen. Die Zahl der Ritter wuchs, Könige, Bischöfe, Gelehrte und Künstler waren unter ihnen. Am 24. Januar 1868 ordnete Papst Pius IX. das Rittertum vom Heiligen Grab neu als förmlichen päpstlichen Ritterorden vom Heiligen Grab zu Jerusalem. Papst Leo XIII. (1878 - 1903) bestätigte die Ordensmitgliedschaft von Damen. Papst Pius X. (1903 - 1914) wendete dem Orden sein besonderes Interesse zu und übernahm selbst das Amt des Großmeisters. Die Päpste Pius XI. (1922 - 1939) und Pius XII. (1939 - 1958) gaben dem Orden neue Statuten und reformierten ihn. Seit Pius XI. wird vom Papst ein Kurienkardinal als Kardinalgroßmeister des Ordens ernannt. Papst Johannes XXIII. (1958 - 1963) bestätigte den Orden als juristische Person kanonischen Rechts. Die heute gültige Satzung wurde von Papst Paul VI. (1963 - 1978) am 8. Juli 1977 erlassen und von Papst Johannes Paul II. am 1. Februar 1996 ergänzt. Danach ist der Orden auch Juristische Vatikanische Person nach der Gesetzgebung des Staates der Vatikanstadt

Im September 1932 berief der Lateinische Patriarch von Jerusalem einen Kongreß der Ordensritter vom Heiligen Grab nach Jerusalem ein und ernannte Fürst zu Salm-Reifferscheid-Dyck zum ersten Statthalter der im Entstehen begriffenen Deutschen Ordensprovinz, deren Vorbereitung schon Mitte der zwanziger Jahre begonnen hatte. Die offizielle Gründungsfeier erfolgte im September 1933 in Köln. Bei ihrer Konstituierung zählte sie 149 Mitglieder. Ordenskirche wurde die Kirche St. Andreas in Köln, in der sich das Grab des Heiligen Albertus Magnus befindet.