Tanken är att museet ska berätta historien om Storbritanniens uttåg ur EU genom nedskrivna tal, urklipp ur tidningar och minnesanteckningar.
Planen i dagsläget är att museet ska placeras i staden Lincoln i östra England.
– Det kommer bli en lång process, men om vi inte börjar nu finns det en risk att visst material kan försvinna, säger Lee Rotherham som arbetar med planerna på museet.