Muziejų tūkstantmečio ąžuolo kamiene įrengė rašytojas, istorikas Dionizas Poška (1765–1830). Apylinkėse augo daug ąžuolų. Vieną jų, jau džiūstantį, 1812 m. rašytojas Dionizas Poška valstiečiams liepė nukirsti – tai buvo bene 1000 metų ąžuolas (12,5 m apimties). Vyrai darbavosi visą dieną. Po to medis supjaustytas į tris dalis. Storiausios nuopjovos vidų, kad būtų lengviau tempti, išskaptavo ir nuritino D. Poškos dvarelio link. Atsiritinęs į savo kiemą, rašytojas įsirengė altaną. Uždėjęs šiaudinį stogą, iškirtęs langus, įstatęs duris jis ąžuolo kamiene įsirengė kambarėlį, kurį pavadino Baubliu. Antrąją kamieno atpjovą D. Poška dovanojęs vyskupui Giedraičiui, tačiau tolimesnis šitos altanos likimas nežinomas. Iš trečiosios dalies išpjovė dvi trijų colių storio lentas, kurių vieną pasiūlęs Vilniaus universitetui, o jei šis atsisakytų, tai atiduotų Kražių gimnazijai. Iš kitos manęs pasidirbti stalą. Žmonės ąžuolą Baubliu vadino todėl, kad vėjas jo giliose drevėse baubte baubdavo.
Pats rašytojas Baublio vardą siejo su senovės lietuvių medaus dievaičiu Bubilu. Baublyje D. Poška dirbo ir ilsėjosi. Čia parašė savo kūrinį “Mužikas Žemaičių ir Lietuvos”, sudėjo archeologinius radinius, istorinę ir etnografinę medžiagą, senovės dievų atvaizdus, įžymių žmonių portretus ir daugiau kaip 200 knygų bibliotekėlę. Rašytojas įkūrė pirmąjį lietuvių kraštotyros muziejų. Vėliau šalia didžiojo Baublio, ant Pelos upelio kranto vingio pastatytas dar vienas baublys, mažesnis jo „brolis“. Apie šį baublį žmonės pasakoja įvairiai: vieni sako jį buvus atpjautą nuo to paties kamieno, kaip ir pirmasis, kiti – kad nuo kito ąžuolo, augusio iš to paties kelmo.
D. Poškai mirus, surinktos senienos paties jo valia pasklido po Lietuvą, didžioji jų dalis pražuvo Pirmojo pasaulinio karo metais. XIX a. pab. – XX a. pr. D. Poškos Baubliams pakeistas šiaudinis stogas, jis apkaltas lentutėmis, padėti cementiniai pamatai. 1930 m. visuomenės iniciatyva Baubliai buvo apdengti mediniais gaubtais, suveržti metaliniai lankais. 1947 m. Baublių muziejus buvo atkurtas. 1949 m. – 1962 m. Bijotuose veikė D. Poškos memorialinis muziejus. Pirmą kartą Baubliai konservuoti 1956 m. 1971 m. Baubliai buvo uždengti stikliniais gaubtais. 2011 m. įgyvendinus VŠĮ Lietuvos verslo paramos agentūros adminstruotą projektą „Bijotų dvaro sodybos – Baublių komplekso pritaikymas turizmui“ Baubliai buvo restauruoti.
Kiekvieną pavasarį prie D. Poškos Baublių vyksta Tarptautinis poezijos festivalis „Poezijos pavasaris“ bei teikiama 2009-aisiais įsteigta Šilalės rajono savivaldybės Dionizo Poškos premija.