Tallinna Linnaarhiiv on alguse saanud Tallinna rae arhiivist. Raearhiiv - dokumentide kogum, millel pikka aega oli praktiline juriidiline väärtus, hakkas kujunema juba 13. sajandi esimesel poolel. Varaseimad nimekirjad raekojas asunud dokumentide kohta on pärit 17. sajandi teisest poolest ja 18. sajandi algusest. Tollest ajast on säilinud ka üks raekoja arhiiviruumide plaan.

Raearhivaalide kui ajalooliste dokumentide korraldamist, teaduslikku uurimist ja publitseerimist alustas 19. sajandi 40. aastatel Tallinna rae sündik, endine Tartu ülikooli professor Friedrich Georg von Bunge.

Tallinna Linnaarhiivi kui avaliku arhiiviasutuse sünnipäeva tähistab 13. oktoober 1883 (v.k.j. 01.10.1883). Sel päeval võttis Tallinna linnavalitsus ametisse esimese korralise linnaarhivaari - Theodor Schiemanni. Linnaarhivaari hoole alla anti 1877. aasta linnareformi alusel likvideeritud Tallinna rae ja tema allasutuste arhiiv. T. Schiemanni ametijärglane Gotthard von Hansen andis 1896. aastal välja raearhiivi vanema osa kataloogi, mis hõlmab arhivaale kuni 1800. aastani. Raearhiiv oligi kaua aega Linnaarhiivi ainuke fond.

Kahe maailmasõja vahelise Eesti Vabariigi ajal oli Linnaarhiiv Tallinna linnavalitsuse haridusosakonna allasutus. 1920. aastatel hakati Linnaarhiivi vastu võtma pärast raekorra kaotamist tegevust alustanud Tallinna linnavalitsuse ja selle allasutuste, linna ettevõtete ning Tallinnas tegutsenud gildide arhiive. Neist kogudest moodustati 1927. aastal Linnaarhiivi uuem osakond, mis sai ruumid Estonia pst 8, praeguse Tallinna Keskraamatukogu maja keldris. Arhiivi ametiruumid ning raearhivaalide hoidlad asusid 1937. aastani raekojas. 1937. aastal sai arhiiv oma maja - Rüütli tänav 8/10.

1920. aastate teisel poolel kujunes Tallinna Linnaarhiiv üheks tähtsamaks ajaloouurimise keskuseks Eestis. 1933. aastast alates tegutses arhiivi juures Tallinna Ajaloo Selts; 1937. aastani täitis Linnaarhiiv ka Linnamuuseumi funktsiooni. Linnaarhiivi arendamisel teadusasutusena oli suuri teeneid Tallinnas sündinud taani päritolu ajaloolasel Paul Johansenil, kes pärast Leipzigi ülikooli lõpetamist asus 1924. aastal tööle linnaarhivaari abina. Aastail 1934 - 1939 oli Paul Johansen linnaarhivaar. Aastail 1923 - 1939 ilmunud Tallinna Linnaarhiivi väljaannete sarjas avaldati kokku üheksa allikapublikatsiooni. Aastail 1924 - 26 ilmus raearhiivi 1896. aasta kataloogi parandatud, täiendatud ja ümbertöötatud väljaanne; 1938. aastal valmis Kanuti gildi arhiivi kataloog. Järgnevalt oli kavas avaldada teatmikud ka teiste gildide, samuti raearhiivi uuema osa kohta, kuid need plaanid katkestas Teine maailmasõda.

1939. aastast peale sõltus Tallinna Linnaarhiivi edasine käekäik muutustest üldises poliitilises olukorras. Aastail 1939 - 40 võeti Linnaarhiivi lühikese aja jooksul üle hulk 1939. aastal Umsiedlung´i käigus Eestist Saksamaale lahkunud perekondade ja tegevuse lõpetanud saksa institutsioonide dokumente. Nõukogude õhurünnaku tagajärjel 1944. aasta 9./10. märtsil hävis tules arhiivi hoone Rüütli tänaval ja sellega koos hulk uuemaid arhiivifonde. Arhiivi vanem osa, sh raearhiiv, oli varem evakueeritud ning jäi pommirünnakust puutumata. 1944. aasta juunis viidi suur osa Linnaarhiivi vanematest fondidest Saksa okupatsioonivõimude korraldusel Saksamaale. Ära viidi umbes 2/3 Tallinna Magistraadi arhiivist, lisaks gildide, raekohtute jt. dokumente. Tallinna jäänud arhivaalid toimetati samal suvel pakku Harjumaale, Järlepa ja Munalaskme mõisahoonetesse ning Risti kirikusse. Sõja lõppedes asusid Linnaarhiivi kogud seitsmes erinevas paigas, nii et sisuliselt tuli arhiivi hakata uuesti looma - tuli leida uus asukoht ja hakata koondama Eestisse jäänud arhivaale. 1947. aastal sai Linnaarhiiv oma valdusse hoone Lai tänav nr 40. Seal asus arhiiv kuni 1973. aastani.

Esimese Nõukogude okupatsiooni ajal 1940. aastal oli Linnaarhiiv reorganiseeritud Tallinna ja Harjumaa Arhiiviks. Järgnenud Saksa okupatsiooni ajal taastati arhiivi endine staatus linnaarhiivina; arhiivi ametlik nimi oli siis (1941 - 44) Tallinna Linna arhiiv. Pärast sõda laiendati pädevust taas: aastail 1945 - 63 toimis arhiiv Tallinna linna ja Harjumaa arhiivina. Neil aegadel võeti Nõukogude võimu poolt likvideeritud Tallinna asutuste arhiivide kõrval üle ka Harjumaa omavalitsuste asutuste (maakonna-, linna- ja vallavalitsuste, kohtute, koolide jt.) ja teiste institutsioonide dokumente, alates 18. sajandist kuni 1944. aastani. 1951. aastal tõusis päevakorda Tallinna arhiivi reorganiseerimine Nõukogude Liidus kehtiva arhiivinduse korralduse vaimus, mille kohaselt linna- ja rajooniarhiivid pidid vastu võtma ning säilitama vaid nö Nõukogude-perioodi arhivaale. Selle põhimõtte rakendamine oleks tähendanud kõigi enne 1944./1945. aastat tekkinud dokumentide üleandmist Tallinna Linnaarhiivist Tartusse Riiklikku Ajaloo Keskarhiivi. Erinevalt Pärnust ja Narvast õnnestus aga Tallinna ajalooliste kogude terviklikkus siiski säilitada. 1950. - 60. aastate Eesti NSV arhiivindust käsitlevad õigusaktid aktsepteerisid edaspidi Tallinna Linna ja Harju Rajooni Riikliku Arhiivi kogude koosseisu erandlikkust teiste linna- ja rajooniarhiividega võrreldes.

1960. aastail hakati arhiivi vastu võtma ka tegutsevate asutuste arhivaale. Alates 1963. aastast, kui loodi eraldi Harju Rajooni Riiklik arhiiv, jäi Tallinna linnaarhiivi tööpiirkonnaks taas vaid Tallinna linn; aastail 1963 - 75 oli arhiivi ametlik nimi Tallinna Linna Riiklik Arhiiv. Osa Harjumaa dokumente anti üle uude rajooniarhiivi, osa Eesti NSV Riiklikku Ajaloo Keskarhiivi. 1976. aastal ilmus arhiivi kogude esimene trükitud üldjuht, Eesti NSV Tallinna Riikliku Keskarhiivi arhiivifondide lühiteatmik (koostaja Edda Vendla).

1975. aastal arvati Tallinna arhiiv riiklike keskarhiivide hulka. Riikliku keskarhiivi staatus püsis kuni arhiivi taasmunitsipaliseerimiseni 1994. aastal; vastav ametlik nimetus - Eesti NSV Tallinna Riiklik Keskarhiiv - oli kasutusel 1989. aastani. Põhimääruse kohaselt pidid Tallinna Riikliku Keskarhiivi koostisse kuuluma "NSV Liidu Riikliku arhiivifondi dokumendid, mis on moodustunud alates 13. sajandist Tallinna territooriumil paiknevate ettevõtete, asutuste ja organisatsioonide tegevuses ning millel on riiklik, poliitiline, teaduslik, rahvamajanduslik ja kultuuriline väärtus ning ei kuulu säilitamisele Eesti NSV teistes riiklikes arhiivides" . Eesti NSV Arhiivide Peavalitsuse käskkiri nr. 20, 07.06.1982 rõhutas, et ENSV TRKA dokumendid peavad igakülgselt kajastama vabariigi pealinna kõigi elualade arengut, mistõttu tuleb erilist tähelepanu pöörata komplekteerimisallikate täiendamisele. Sama käskkirja lisa täpsustas TRKA komplekteerimisallikate ringi. Viimasest tulenevalt võeti aastail 1983 - 87 Eesti NSV Oktoobrirevolutsiooni Riiklikust Keskarhiivist (nüüdsest Riigiarhiivist) Tallinna arhiivi üle ka nn üleliidulise alluvusega ettevõtete, näiteks Balti Laevaremonditehase, H. Pöögelmanni nim Elektrotehnika Tehase ja Tehase "Punane RET" dokumendid.

1989. aastal taastas tollane Arhiivide Peavalitsus arhiivi ajaloolise nime - Tallinna Linnaarhiiv. 1994. aasta novembris sai Linnaarhiiv ka halduslikult taas kohaliku omavalitsuse arhiiviks - Tallinna linnakantselei allasutuseks. 1998. aastal jõustunud arhiiviseadust järgides reorganiseeriti arhiiv 1999. aastal Tallinna linnavolikogu määrusega linna ametiasutuseks. Kehtiva põhimääruse (1998) kohaselt Tallinna Linnaarhiiv "kogub, korraldab ja säilitab Tallinna varasemate - alates 13. sajandist tegutsenud - ning tegutsevate linnaasutuste alatise säilitusväärtusega arhivaale, samuti muid alatise säilitusväärtusega arhivaale, mis on olulised Tallinna linna ja tema ajaloo uurimise seisukohalt ning tagab nende kasutamise".

1990. aasta oktoobris tagastati Nõukogude Liidu ja Saksamaa Liitvabariigi vahelise kokkuleppe alusel Tallinna linnale tema 1944. aastal Saksamaale viidud arhivaalid. Eesti Vabariigi taastamise järel on Linnaarhiivi kogud 1990. aastail kiiresti kasvanud. Vastu on võetud hulgaliselt Nõukogude-aegsete, aga ka hiljem likvideeritud, erastatud või ümberkorraldatud Tallinna asutuste arhiive. Muuhulgas säilitab Linnaarhiiv tegevuse lõpetanud asutuste personalidokumente.

1973. aastast peale asub Tallinna Linnaarhiiv Tolli tänaval. Esialgu oli arhiivi käsutuses vaid Laia ja Tolli tänava nurgal asuv maja (Tolli 8); 1980. aastate teisel poolel restaureeriti ja kohandati arhiivi tarbeks ka naabermajad Tolli 6 ja Tolli 4. Need on kasutusel 1989. aasta suvest.