Synagóga bola postavená miestnou židovskou komunitou, ktorá viedla na územi mesta bohatú obchodnú činnosť. So začiatkom 2. sv. vojny táto činnosť postupne utíchala, a v roku 1945 sa už na územi mesta nenachádzal nik, kto by sa k majetku prihlásil. Existovali výnimky v podobe manželky Marka Reicha (Mark Reich bol majiteľom hotela Reich - zomrel v roku 1945 v koncentračnom tábore Osvienčim, dnes je táto budova skôr známa pod menom Tatra Inn). Budova synagógy bola postavená v roku 1864, a až po jej zbúranie dotvárala kolirot mesta. Počas 2. svetovej vojny tu skladovala nacistická okupačná armáda (po potlačení SNP) zásoby paliva, neskôr tu sídlili Vlasovci (Rusi, ktorí zbehli na nemeckú stranu). Po skočení vojny tu bol sklad potravín. Komunistické vedenie sa v roku 1972 rozhodlo, že budovu jednoducho zbúra, a tak mesto Čadca vďaka komunistom prišlo o ďalšiu výraznú budovu. Na jej mieste bola postavená budova vtedajšej sporitelne (dnešná Slovenská sporiteľna sídli presne oproti tejto budove).