Djotodia avgick i fredags och reste på lördagen till Benin.
Efter hans avgång har minst fem människor skjutits ihjäl och omfattande plundring ägt rum i stadens butiker, många av dem ägda av muslimer.
Våldet avspeglar den blodiga konflikt mellan kristna och muslimer som pågår i landet.
– De som plundrades när Seleka-rebellerna kom är nu de som plundrar, säger pastor Antoine Mbaobogo som är chef för en lokal Röda Korset-organisation.
Den muslimska rebellalliansen Seleka intog Bangui i mars i fjol.
Chockerade invånare i staden vittnar om hur tjuvar bland annat dödat en muslimsk man, skurit upp honom med en machete, hämtat bröd och börjat tugga på hans arm.