I perioden 1855-1884 udvikledes gudelige vækkelser i Sinding-Sejling sogne, der under pastor Frederik Ditlev Møllers ledelse og i samarbejde med vennen pastor Jens Christian Hostrup i Linå-Silkeborg sogn skabte et grundtvigsk vennelag, der blev forløberen for "Silkeborg Højskolehjem", som Silkeborg Højskoleforening kaldtes i begyndelsen.
Om foråret 1884 enedes man i vennelaget om at oprette et "samlingssted for mænd og kvinder, der samles om højskoletanken". Man begyndte i lejede lokaler i Nygade med stiftende generalforsamling 13. oktober og 108 medlemmer. Lokalerne blev endelig indviet som "Silkeborg Højskolehjem" og taget i brug 30.12.1884, der siden blev anset for at være den "rigtige" stiftelsesdato, og da var der allerede 250 medlemmer.
Frederik Ditlev Møller og Jutta Bojsen som nygifte (1857), Silkeborg lokalhistoriske arkiv
J. C. Hostrup, Silkeborg lokalhistoriske arkiv
1884-1899 var "Højskolehjemmet" i Nygade med 4-5 værelser, en sal og 3 gæsteværelser udgangspunkt for foreningens virksomhed især med foredrag, koncerter og fester, men også med klub, beværtning, læseforening, kor, bibliotek, gymnastik og folkedans. - I løbet af få år var der 800 medlemmer (ud af en befolkning på 7000), og endnu i 1921 var der 700 medlemmer. Medlemstallet var i 1931 stigende til 737. Denne periode må nok anses for foreningens "guldalder".
1899-1933 havde foreningen egen ejendom "Højskolehotellet" på Skoletorvet med indtægter fra hotelvirksomheden. En dynamisk periode med store udsving. I 1930érnes krise gik det økonomisk ned ad bakke, så "Højskolehjemmet" blev solgt 1. oktober 1933 og omdannet til "Grand Hotel". 1968-76 blev hotellet erhvervet af Th. Langs Skoler og ombygget til kostskole for piger. I 1976 solgtes bygningen til "Galleri Moderne". Lige til 1976 fortsatte foreningens virke i bygningen.
Selv om foreningens økonomi forbedredes ved hussalget, så blev formuen langsomt slidt op i løbet af kriseperioden i 1930érne og krigen 1939-45. Yderligere nedgang fulgte både i økonomi og medlemstal i 1950-60érne, hvor foreningens bestyrelse var ved at give op over for fjernsynet og materialismen.
1959-1984 blev derfor en kamp- og genopbygningsperiode gennem samarbejde med Silkeborg Ungdomsforening, Valgmenighedskredsen og Folkeuniversitetet. Modgangen blev overvundet, og foreningens hovedvirke blev foredrag, oplæsning, musik og sangaftener, selv om medlemstallet i 1970 var under 100.
Højskolehjemmet, Silkeborg lokalhistoriske arkiv
1976-90 afholdtes møderne i den tidligere Tekniske skole på Skoletorvet, der i en årrække var blevet indrettet til at være et af byens medborgerhuse.
Fra 1984 kom en periode med forslag om samvirke med den lokale Silkeborg Højskole. Pastor Gunnar Johnsen havde i 1974 ved 90-årsfesten sagt: "Højskoleforeningen er åben for enhver taler, som har noget væsentligt mellemfolkeligt at sige med Grundtvigs "Syng fra Øresund til Dannevirke, syng til dans, til skole og til kirke" - at lukke op for menneskelivet, hvor underligt det end er."
Grundtvig, Tilhører Frederiksborg museum
3. september 1985 fejredes et forsinket 100 års jubilæum og her udtalte den daværende formand pastor Peder Steen: "Silkeborg Højskoleforening har en fremtid. Det er nødvendigt, at vi har Grundtvig og Kold med i vor bagage. Med den industrielle udvikling er vi tilbøjelige til at sætte fokus på det, der kan måles og vejes. Men vi må ikke glemme, at mennesket består af både støv og ånd. Grundtvig sagde: "Det, der skaber et samfund, er ikke magt eller forstand, men at mennesker kan forholde sig til andre mennesker. Mennesket er skabt i Guds billede, og derfor er der brug for både åndeligt virke og praktisk handling.""
Siden 1990 er foreningens møder blevet afholdt i det nyindrettede medborgerhus i "Lunden".
På initiativ af daværende formand Ebba Boes lykkedes det i seks år 1990-95 at afholde højskoledage i et tæt samvirke mellem Silkeborg Højskoleforening og Silkeborg Højskole på højskolen til gensidig inspiration og glæde for begge parter. Ebba Boes mener, at foreningens opgave er at være formidler af det grundtvigske livssyn ved at skaffe gode folkelige talere til foreningens virke.
Hun har i årene 1981-97 medvirket ved tilrettelæggelse og gennemførelse af Grundtvigkurser med 60-140 deltagere på Vestjyllands Højskole først under forstanderparret Hans Jørgen Nedergaard og Sophie Seidelin siden fra 1987 under Steen Espensen.
I 2006 påbegyndes et samarbejde med bl.a. Mariehøj sogn om grundtvigske samtaledage og siden om fælles foredragsaftener.
Samarbejde med Mariehøj sogn forsøgtes fra 2006 – 2008.
Sognepræst i Sejling-Sinding sogne Unna-Pernille Gjørup indtrådte i Silkeborg Højskoleforenings bestyrelse som næstformand i 2008, og i 2009 afløste hun Ebba Boes som foreningens formand. Fra 2010 – 2015 samarbejdede foreningen med Silkeborg Bibliotek og andre foreninger om afviklingen af et årligt foredrag med kendte og dermed dyrere foredragsholdere. Der var god tilslutning til foredragene, men højskoleforeningen konkluderede, at det økonomisk var uhensigtsmæssigt at fortsætte samarbejdet.
I denne periode etablerede foreningen en hjemmeside og indledte samarbejde med et reklamebureau om udarbejdelse af program og løbende opdatering af hjemmeside.
I foråret 2014 stoppede Unna-Pernille Gjørup. Bestyrelsen fortsatte arbejdet og konstituerede sig i efteråret 2014 med Agnes Kvamm som ny formand og arbejdede nu videre i en flad struktur. Efter flere års underskud er økonomien i stabil gænge.
Foreningen har gode erfaringer med at samarbejde med Folkeuniversitetet om et antal foredrag om året.
Ved vore foredragsaftener lægger vi stadig vægt på at synge 4-5 sange fra Højskolesangbogen og oplever i disse år, at tidsånden er med os, idet det er blevet in med fællessang i endnu flere sammenhænge. Pianist Kirsten Guldager sidder ved klaveret.
Foreningen, der er tilsluttet Grundtvigs Forum, satser fortsat på at sammensætte et varieret program. Deltagerantallet ligger nogenlunde stabilt med et gennemsnit på 50-60 deltagere ved de enkelte arrangementer.