La Confraternita di San Giacomo fin verso la fine del XVI sec. aveva il proprio Oratorio sul colle della Costa, sul lato destro della Chiesa intitolata alla Vergine omonima.

Negli ultimi tre lustri del sedicesimo secolo, i confratelli di San Giacomo iniziarono e portarono a termine la nuova sede, stante il fatto che la Chiesa di Nostra Signora della Costa avrebbe dovuto essere ampliata.

La costruzione dell'Oratorio, su terreno appartenente ai da Passano, impegnò il sodalizio per quindici anni, vi fu fatto fronte con il reddito di un "capitale a censo" a carico della Comunità del Borgo, con questue in seno ai fedeli, oltre al fatto che i confratelli prestassero la loro opera ai falegnami, fabbri, ferrai, muratori e carpentieri.

Il 23 giugno del 1600 il Vescovo Diocesano di Luni-Sarzana Giovanni Battista Salvago consacrò il nuovo Oratorio, concedendo altresì al sodalizio il privilegio di seppellirvi i confratelli defunti.

A ricordo di quel giorno solenne, fu posta, dietro l'altar maggiore, una lapide marmorea in memoria.

La nuova sede della Confraternita di San Giacomo, sul portale della quale venne murato il bassorilievo marmoreo (scuola lombarda XV sec.) proveniente dal precedente oratorio, si presentava (e tale è rimasta) come un unico ampio coro: lungo i tre lati, infatti, erano disposti numerosi sedili con relativi inginocchiatoi, nei quali prendevano posto i confratelli nelle adunanze e nelle celebrazioni liturgiche; gli scanni a destra e a sinistra della porta d'ingresso erano riservati ai Superiori; l'insieme è di noce finemente lavorato.

L'oratorio aveva tre altari, il maggiore e due laterali, quello di destra dedicato a san Giacomo, quello di sinistra era intitolato al Santissimo Crocifisso.

La sacrestia era situata nel luogo in cui si trova ancora oggi, anche se limitata al locale inferiore e coll'entrata all'altezza dell'attuale balaustra

L'Oratorio di San Giacomo conservò l'aspetto sino a qui descritto per tutto il secolo diciassettesimo e per metà del seguente, quando furono apportate le modifiche che gli diedero la forma esistente.

Nel 1759, infatti, i fratelli Faraggiana, membri insigni del sodalizio, fecero dono a questo del terreno retrostante; gli anni a seguire videro quindi l'allungamento del coro e la costruzione del piano superiore della sacrestia, colla relativa scala; l'altar maggiore fu portato più indietro, allargandolo notevolmente e ciò al fine di coprire la parte retrostante, in cui vennero sistemati scanni lignei, ove prendevano posto in cantori.
In quegli anni fu certamente installato un primo organo, essendo lo stile di pitturazione delle sue balaustre e quelle di intaglio delle stesse tipico del diciottesimo secolo.

Gli altari laterali rimasero probabilmente nell'originaria posizione: nell'altare di destra fu lasciata la statua del Santo Patrono, mentre quello di sinistra venne intitolato alla Beata Vergine di Soviore, il cui Santuario era divenuto meta, dal 1745, di devoto pellegrinaggio, da parte dei confratelli e dei fedeli di tutto il Borgo.La nicchia venne quindi a contenere una scultura marmorea raffigurante Maria Addolorata, con alle spalle San Gregorio Magno e Sant'Agostino, proveniente presumibilmente da un'edicola posta nei pressi del Santuario e risalente al secolo sedicesimo.

Nel corso del secolo diciottesimo, inoltre, l'Oratorio si venne ad arricchire di arredi e suppellettili: si ricordano in particolare il crocifisso professionale della scuola del Maragliano (130 Kg), il quadro di San Giacomo attribuito allo Strozzi e andato poi disperso, i sei grandi quadri delle pareti raffiguranti Sant'Agostino, San Filippo Neri, San Gerolamo, San Gregorio Magno, San Pietro e San Paolo: il Sant'Agostino e i tre quadri della navata, molto probabilmente sono provenienti dalla Chiesa di Sant'Agostino, distrutta per farvi passare la ferrovia.

L'Oratorio nel 1827 venne dotato dell'attuale organo: trattasi dell'opera dell'organaro pistoiese Agati. L'organo installato nell'Oratorio di San Giacomo risulta essere il più antico Agati di tutta la Liguria ed è lo strumento organistico più antico del Borgo di Levanto. Un restauro del 1977 non né ha mutato l'aspetto attuale.

Da qualche anno esso ospita un concerto inserito nella rassegna della Sagra Soviorese.
Risale all'ottocento anche il secondo crocefisso processionale (90 kg) che si può ammirare nella navata a sinistra guardando l'altare maggiore

Negli ultimi anni è stata ripristinata la coloritura della facciata dell'Oratorio e del grande affresco raffigurante San Giacomo Matamoros. L'interno è stato ripitturato, sono state eliminate le sedie e sono state ricostruite le sedute degli scanni distrutte durante i conflitti bellici dalla baionette dei soldati; sono state collocate all'interno, grazie al contributo della comunità, due ordini di panche poste perpendicolarmente all'altar maggiore che ridanno alla Chiesa il suo aspetto originario; sono state costruite ex novo le sedute per i confratelli ai lati dell'altar maggiore, nuovi sono pure l'ambone e i porta candele.

Recentemente sono stati donati il tabernacolo e due mazze processionali in sostituzione di quelle rubate.