Řád byl ve svém počátku devítičlenným společenstvím francouzských šlechticů založeným po přípravách od roku 1098 v roce 1103. Registrován byl úředně v roce 1118.

Na Boží hod vánoční Hugh z Paynsu a osm dalších rytířů spolu s Godfreyem ze St-Omer, Archambaudem ze Saint-Aignan, Payenem z Montbidier a rytířem zvaným Rossal nebo Roland složili ve svatém hrobě před patriarchou slib života v chudobě, čistotě a poslušnosti.“ Přijali název „Chudí rytíři Krista“. Král Baldwin II. jim poskytl příbytek v Jeruzalémě, v tzv. Šalomounově stáji mešity Al-Aqsa, která údajně stála na místě Šalomounova chrámu, čímž řád vstoupil v povědomí jako „Chudí rytíři Krista a chrámu Šalomounova“.

Papež Honorius II určil templářským rytířům bílý plášť cisterciáků. Řád se nejdříve přidal k řeholi sv. Augustina. O rozmach řádu a uznání řehole na koncilu v Troyes roku 1129 se významně zasloužil opat cisterciáckého kláštera v Clairvaux sv. Bernard, který řád podporoval a byl autorem první řehole řádu, kterou se činnost řádu začala řídit. Ten ustanovil 72 článků, kterými vymezil povinnosti a zákazy týkající se mnichů tohoto řádu. Mezi ty základní patřil např. zákaz scházet se s lidmi, kteří byli exkomunikováni z církve, povinnost nosit bílý plášť (demonstrující čistotu), prostý a nezdobený oděv, povinnost sdílet jednu misku ve dvojici s jiným řádovým bratrem, jíst v mlčenlivosti, činit každý pátek pokání, vstávat s rozbřeskem, zákaz lovu (s výjimkou lvů, kteří často ohrožovali poutníky na jejich cestě do Jeruzaléma), dodržovat hierarchii v řádu, dodržovat slib mravopočestnosti, zákaz stýkat se se ženami a pohlédnout jim do tváře (zákaz se vztahoval i na příbuzné – matky a sestry), vyhýbat se kejklířům, hercům a pěvcům, povinnost nosit krátce střižené vlasy, zákaz používat jemnou obuv se zahnutou špičkou, povinnost spát v košili a spodním prádle a mnohé další. V této době měl řád tři sta rytířů, kteří veleli zhruba třem tisícům mužů. V tomto roce 1129 se Hugh z Paynsu sešel ve Skotským králem Davidem I. jenž mu daroval zemi Balantrodach. Tehdy se počaly psát dějiny templářského řádu ve Skotsku.

Papež Evžen III. ustanovil, že řád bude užívat ve svém znaku rudý kříž. Templářští rytíři používali několik symbolů řádu, avšak osmicípý kříž byl starší než kříž s tupými konci a byl užíván dříve než tajné templářské písmo, neboť byl užíván již před rokem 1250 n.l. Oblékání a móda řádu ve středověku stanovily, že templářští rytíři nosili červený osmicípý kříž na levém rameni svého pláště, seržanti nosili černé pláště a panoši hnědé pláště. V době posilování a rozmachu řádu přišel neúspěch druhé křížové výpravy (1147–1149) inspirované ztrátou křesťanského města Edessa, což se následně odrazilo i na řádové politice. Skutečné neúspěchy evropské snahy dobýt a udržet pozici na blízkém východě začaly pádem jeruzalémského království v roce 1187, roku 1244 ztratili Evropané Jeruzalém a v roce 1291 padla i poslední pevnost St. Jean d’Acre. To ukončilo přítomnost křižáckých armád ve Svaté zemi. Řád musel postupně opustit dobytá území a rytíři se museli stáhnout na Kypr, který byl svaté zemi nejblíže.

Řádoví rytíři byli vynikající válečníci. Taktickým manévrem byl útok sevřené skupiny s cílem rozdělit armádu protivníka na dvě skupiny a tím vnést do jeho řad zmatek.

Předměty, které byly příslušníky řádu nalezeny v podzemí původního Šalamounova chrámu, mu zajistily, že se řád stal výraznou ekonomickou, politickou i vojenskou silou, která nepodléhala prakticky nikomu a sloužila jen papeži. Rytíři vybudovali početnou a silnou nadnárodní armádu. Hrady a pozemky řádu se nacházely po celé Evropě a Středním východě. Řád vystupoval také jako významný mezinárodní bankovní subjekt a vydělával na křížových výpravách a obchodování se Svatou zemí obrovské jmění, které však vlastnil řád nikoli jednotlivci. Rytíři žili nadále životem v křesťanském duchu čistoty a síly.