Myndigheterna i Jamaica, Haiti och på Kuba förbereder nu för orkanen.
I sydvästra Haiti uppmanas människor att evakuera till säkrare platser. Men enligt haitiska tjänstemän har omkring 2.000 invånare i stadsdelen La Savane i Les Cayes, där gatorna redan börjat översvämmas, vägrat att flytta på sig trots att orkanens centrum väntas passera bara några kilometer därifrån.
Haiti har drabbats av flera katastrofer tidigare och många fattiga haitier är ovilliga att evakuera då de fruktar att deras hem ska plundras.
Tillåts ta till våld
Polisen och evakueringsteam har dock fått instruktioner att om nödvändigt använda våld för att flytta på människor.
– Vi har en skyldighet att skydda dessa människors liv, även mot deras vilja, säger Haitis inrikesminister Francois Anick Joseph till nyhetsbyrån Reuters.
Polischefen för den södra regionen, Luc Pierre, säger dock att det är näst intill omöjligt att tvinga ett så stort antal människor att lämna sina hem.
– Jag skulle behöva gripa alla dessa människor och ta dem till en säker plats. Detta är mycket svårt, säger han.
Endast ett fåtal familjer i La Savane har valt att låta sig evakueras till en skola.
Över 1.000 millimeter regn väntas i Haitis södra delar.
– Vi är väldigt oroliga över situationen. Vi vill att alla förstår att det är allvar, säger Francois Anick Joseph.
En person sveptes bort i höga vågor på lördagen trots varningar att undvika området, enligt honom. Landet har förberett 1.300 skyddsrum för 340.000 människor.
Långsam orkan
Matthew har inte bråttom där den drar fram över Karibien i nordvästlig riktning. Inte snabbare än sju kilometer i timmen rör sig orkanen.
– Slow motion är nästan alltid en dålig sak för alla landområden som påverkas, säger John Cangialosi, expert vid USA:s orkancenter, som bedömer att Matthew kommer att fortsätta att vara en kraftig orkan in på tisdagen.
I Jamaica väntas 640 millimeter regn och vindstyrkor på 64 sekundmeter och premiärminister Andrew Halness säger att omkring fyra av fem jamaicaner är beredda.
– Skadorna kommer att påverka vår ekonomiska tillväxt, som redan är skör, säger han.
Söker sig till grottor
I Jamaicas huvudstad Kingston har invånarna bunkrat burkmat, vatten och batterier. Större vägar och vattendrag har översvämmats och människor sågs försöka putta bilar vid gator som översvämmats bara minuter efter att skyfallen börjat.
I Kuba uppmanas folk att flytta sina tillhörigheter till skyddsrum. Några kubaner uppges ha sökt sig till grottor, vilket de anser vara det säkraste stället att vänta ut orkanen i.