Les origines du Castelet restent, à ce jour, imprécises. Il appartenait au début du XVe siècle à Raymond Barralier, l’un des coseigneurs de Ménerbes. Par la suite, l’édifice et ses terres ont été la propriété de la famille Guilhens, puis en 1605, de la famille d’origine italienne Galléan, établie dès le XIVe siècle à Avignon et détentrice de plusieurs autres seigneuries.

Lors du siège de Ménerbes (1573-1578, cf article sur l’ancienne prison) il essuya quatre assauts des troupes catholiques subissant de lourdes dégradations.

Au XVIIe siècle, le Castelet fut transformé en élégante bastide largement ouverte sur l’extérieur. Il conserve de cette époque le grand escalier extérieur à double révolution flanqué de deux tourelles qui assure l’accès à une cour intérieure. Cette dernière dessert une petite chapelle privative ainsi que les salles de la bastide. A l’arrière, un grand balcon  et un escalier conduisent à l’aire ouverte entourée d’un mur d’enceinte datant du XVIe siècle muni de plusieurs guérites et d’une tour de défense.

Un important programme de rénovation conduit au XIXe siècle, pendant lequel les murs furent couverts d’un enduit masquant les aménagements anciens, a donné au monument son aspect actuel. En 1953, le Castelet fut acheté par le peintre Nicolas de Staël, attiré dans la région par son ami le poète René Char.