Charlie Elphicke tas ur tjänst ”efter allvarliga anklagelser som har vidarebefordrats till polisen”.
Han skriver själv på Twitter: ”Partiet tipsade pressen innan jag informerades om min avstängning. Jag vet inte vad anklagelserna handlar om och nekar till att ha gjort något fel.”
Tidigare i veckan tvingades Michael Fallon avgå från försvarsministerposten i landet. Två andra ministrar utreds också efter att ha anklagats för opassande uppförande.
Fler politiker avstängda
Fallon har medgivit att hans uppförande inte nått upp till de höga krav som kan förväntas, och har erkänt att han tafsat på en journalist för 15 år sedan.
Det oppositionella Labourpartiet stängde i torsdags av en av sina parlamentsledamöter, Kelvin Hopkins, i väntan på en utredning om att han ska ha betett sig opassande, vilket han själv förnekar.
Mays nya uppförandekod för politiker inom det konservativa partiet meddelades på fredagen.
En ny funktion ska också införas för att göra det lättare att rapportera brott mot koden, och fallen kommer att utredas av en panel. May har kallat till ett möte på måndag för att diskutera hur parlamentets hantering av klagomål ska hanteras.