Esimene laenuraamatukogu Rakveres loodi 1882. aastal Juhan Kunderi poolt. Tänane raamatukogu on alguse saanud 1912. aastal Rakvere Eesti Hariduse Seltsi juurde rajatud raamatukogust.
1921. aastal moodustati Rakvere Eesti Hariduse Seltsi ja Rakvere Rahvamaja Seltsi ühinemisel Rakvere Rahvamaja ja Hariduse Seltsi raamatukogu. Aastatel 1922-1923 töötas seal hilisem raamatukogu- ja raamatuteadlane Helene Johani.
1925. aastal avati selle raamatukogu baasil Jaan Poska nimeline Rakvere Linna Avalik Raamatukogu. Enne II Maailmasõda vahetas raamatukogu mitmeid asukohti ja segase sõjaaja tõttu oli ajuti ka suletud.
1944. aastal avati Rakvere Linnaraamatukogu lugejaile taas. Erinevate nimede all tegutsenud raamatukogu kolis 1952 aastal Tallinna tn. 47, kuhu jäi järgmiseks 46 aastaks.
Oma tänast nime, Lääne-Virumaa Keskraamatukogu, kannab raamatukogu 1. jaanuarist 1991.
Iseseisev lasteraamatukogu, Rakvere Rajooni Lasteraamatukogu, loodi 1951. aastal senise lasteosakonna baasil. Iseseisva tegevuse lõpetas lasteraamatukogu 1973. aastal, kui temast sai taas lasteosakond.
1996. aastal sai raamatukogu oma esimesed arvutid, algas elektronkataloogi loomine programmiga Kirjasto.
1. septembril 1998 avas Lääne-Virumaa Keskraamatukogu lugejatele uksed oma praeguses hoones Lai 7.
Raamatukogu hoonest
1911. aastal ehitas Rakvere Eesti Hariduse Selts praeguse raamatukogu kohale 2-korruselise koolimaja, kus 1912. aastal avati ka raamatukogu.
1930-ndatel aastatel (fotol) tegutses siin erinevate äride kõrval ka Treifeldti raamatu- ja kirjatarvete kauplus. Sõjas kannatada saanud hoone taastas NKVD kolmekorruselise kivimajana. Viimastel aastatel enne renoveerimist asusid majas korterid.
Lääne-Virumaa Keskraamatukogu avati selles hoones 31. augustil 1998. Uue maja projekteetris Andres Kask (AS Kask ja Orub), sisekujunduse tegi Ellen Tõugjas. Pindala: 1536m² .
