Scrierile canonice ale Noului Testament, precum și alte surse scrise din Biserica primară, oferă unele informații despre viața Sfântului Iacob și rolul său în Biserica primară. Sinopticii îi menționează numele, dar nimic altceva despre el, în timp ce Evanghelia lui Ioan și primele capitole din Faptele Apostolilor nici măcar nu-l menționează pe Iacov.
Faptele Apostolilor, în capitolele ulterioare, oferă dovezi că Iacov a fost o figură importantă în comunitatea creștină din Ierusalim. Când Petru, după ce a scăpat în mod miraculos din închisoare, trebuie să fugă din Ierusalim, el cere ca Iacov să fie informat (12:17). Atunci când creștinii din Antiohia sunt preocupați de faptul dacă creștinii neamuri trebuie să fie circumciși pentru a fi mântuiți și îi trimit pe Pavel și Barnaba să se consulte cu biserica din Ierusalim de acolo, Iacov a jucat un rol important în formularea deciziei consiliului (15:13 și următoarele). Într-adevăr, după ce Petru și Pavel și-au prezentat argumentele, Iacov este cel care, în cele din urmă, emite ceea ce el numește "hotărârea sa" - sensul original este apropiat de "hotărârea mea" - și, după aceea, toți o acceptă. Cu alte cuvinte, Iacov este arătat ca fiind la conducerea grupului de la Ierusalim, ceea ce intră în conflict cu afirmațiile ulterioare privind primatul lui Petru acolo. Iar atunci când Pavel ajunge la Ierusalim pentru a preda banii pe care i-a strâns pentru credincioșii de acolo, îi vorbește lui Iacov, care insistă ca Pavel să se curețe ritualic la Templul lui Irod pentru a-și dovedi credința și pentru a dezminți zvonurile că ar fi învățat rebeliunea împotriva Torei (21:18ss) (o acuzație de antinomianism).
Pavel îl descrie în continuare pe Iacov ca fiind una dintre persoanele cărora Hristos cel înviat s-a arătat (1 Corinteni 15:3-8); apoi, mai târziu în 1 Corinteni, îl menționează pe Iacov într-un mod care sugerează că Iacov a fost căsătorit (9:5); iar în Galateni, Pavel îl enumeră pe Iacov, împreună cu Cefa (mai bine cunoscut sub numele de Petru) și Ioan, ca fiind cei trei "stâlpi" ai Bisericii și care vor sluji celor "circumciși" (în general evrei și prozeliți evrei) din Ierusalim, în timp ce Pavel și colegii săi vor sluji celor "necircumciși" (în general neamuri). (2:9, 2:12). Acești termeni (circumciși/ necircumciși) sunt în general interpretați ca însemnând evrei și greci, care erau predominanți, însă este o simplificare excesivă, deoarece în provincia Iudaea din secolul I existau și unii evrei care nu se mai circumcideau, și unii greci (numiți prozeliti sau iudaizanți) și alții, cum ar fi egipteni, etiopieni și arabi, care o făceau.
