Mesto ima danes skoraj 13.000 prebivalcev, poleg Italijanov in drugih tukaj prebivajo tudi Slovenci. Na območju, kjer stojijo Milje, je bil že za časa Rimljanov ribiški zaselek. Leta 931 je vasica prešla pod oblast oglejskih patriarhov. Zametek današnjega mestnega jedra je nastal v 12. stoletju, leta 1256 pa je bila ustanovljena samostojna mestna občina. Leta 1420 je lokalna uprava padla pod Beneško republiko, katere vladavina je trajala do zatona republike leta 1797. Pozneje so bile Milje še del Napoleonovih ilirskih provinc ter del velike avstro-ogrske države, po letu 1920 pa so prešle pod Italijo.
Staro mestno jedro z manjšim pristanom in mandračem (podobnim nekdanjemu piranskemu), ki skoraj spodjeda okoliške stavbe, kaže arhitekturne elemente beneškega sloga, za katerega so značilne ozke ulice, stavbe s simboli leva sv. Marka, balkoni z gotskimi biforami.
Zaradi zasutja solin in opustitve kamnoseštva ter zaprtja obeh ladjedelnic se mesto danes vse bolj usmerja v turizem.
