Stuehuset der er opført i 1860’erne var oprindelig stuehuset til en firlænget gård, hvor to af udlængerne lå der hvor der nu er fyrretræer, og en længe parallelt med stuehuset. Derudover var der ifølge en skitse fra 1918 en udlænge i forlængelse af denne samt et svinehus.
Den nuværende lade er opført i 1942 af gårdens sidste ejer Harry Esbensen, i stedet for en såkaldt "Hjælm", en åben fritliggende lade med tag og trimpel
Harry Esbersen overtog gården i 1941 og var ejer af denne til 1990, hvor Ishøj kommune overtog ejendommen. Harry Esbersen boede på ejendommen til sin død i 1993. Ishøj Kunstforening fik brugsretten til huset i 1994.
Vridsløse statsfængsel, der er bygget i 1856-59, havde en del tyske håndværkere som bygmestre, og da de var færdige der byggede de blandt andet smågården øst, som kunstforeningens hus betegnes. Oprindelig var huset og udlængerne stråtækket. Udlængerne blev nedrevet i 1979-80.
Før udskiftningen i slutningen af 1700 tallet lå gården i Ishøj landsby syd for Merlegården, Gården gik i arv fra far til søn, og var i den samme families eje indtil 1904. Sidste ejer af denne familie var Bodil Olsdatter og hendes mand Peder Pedersen.
I 1813 deles gården af den daværende ejer Hans Larsen, der på det tidspunkt er 74 år gammel, fordi han havde to giftefærdige sønner Jens og Niels Hansen, der begge skulle have foden under eget bord. På den måde opstod mange smågårde. Det er således Jens Hansen, som fik smågården øst, der opfører det nuværende stuehus.
