Über den Ursprung dieser Kirche ist leider nichts bekannt. Da aber in einer Urkunde des Erzbischofs Konrad II. von Salzburg 1166 drei Brüder als "milites de Greifenberg" als Zeugen erwähnt werden, dürfte wohl schon zu dieser Zeit (wenigstens für die Burg) ein Begräbnisort mit einer kleinen romanischen Kapelle (jetziges Kirchensiff von "St. Veit") bestanden haben.

1516 wurde von Berthold Puerstinger, Bischof von Chiemsee" in der Kirche des hl. Vitus in Greyffenberg der Chor und die Sakristei geweiht.