Do zaselka pridemo tako, da sledimo tablam za znameniti krkavški kamen in nato nadaljujemo pot do prvih hiš.
Nad zaselkom je Gradišče, kjer imajo njive prebivalci tudi iz drugih zaselkov. Takoj nad hišami, je področje imenovano Pod Gradiščem. Zahodno, proti Žvabom so Oljke, saj so se tu kar vrstili oljčniki. Južnemu področju, proti sosednjim Abramom, domačini pravijo Na krogu. Na vzhodu pa Japlenca že meji na Zemljo sosednje vasi Puče.
Škrljevec je dobil ime po skali, na kateri stoji. S podobno sestavo tal se lahko ponašajo le še Krkavče in manjši zaselek Glavini. Hiše so razporejene rebrasto na vsako stran glavne ulice. Kljub temu, da je večina hiš prenovljenih, se na pročeljih še vedno vidi pristni domači kamen, ki daje zaselku posebno toplino. Kot arhitekturna posebnost je hiša z lepo ohranjenim baladurjem. V vasi je na daleč znan mogočen hrast, po katerem je zaselek razpoznaven tudi od daleč.
Nekoč je bil pod vasjo tudi kal, kjer so domačini napajali svojo živino. Zdaj, ko živine ni več, je tudi voda odšla. Voda pa je bila tudi sicer velik problem. Poleti, v sušnih mesecih, je vode kaj kmalu začelo primanjkovati tako v vodnjakih, ob domačijah kot v kalu pod vasjo. Zato so morali ljudje vse do izvira na Rovu, ki pa nikoli ni presahnil.
V Škrljevcu je bilo nekoč do osem družin v katerih je bilo povsod veliko otrok. Povprečno je bilo deset otrok v družini. Večina družin je nosila priimek Grižon, poleg teh pa sta bila v zaselku prisotna še priimka Veškovo in Tomažin. Ve se, da se je Veškovo priženil na Grižonovo domačijo iz Puč.
Po pripovedovanju domačinov je stala najstarejša zgradba nekoliko niže, pod današnjim zaselkom. K tej hiši, obdani z oljčnimi gaji, se je priženila zelo sposobna ženska, ki je nekoč prišla pobirati oljke iz oddaljene Smokvice. V Škrljevcu je ostala za vedno. Imela je tri sinove in eno hčer in preden je umrla je pustila za seboj še dve novi hiši.
Poleg oljkarstva so se tukajšnji domačini ukvarjali še z živinorejo in vinogradništvom, kjer so pridelovali predvsem malvazijo. Ker so bile družine številne, je bilo potrebno zaokrožati domačo bilanco s prodajo zelenjave in mleka. Tako so hodile ženske prodajati zelenjavo v Buje. Ena pa je kot mlekarica zbirala mleko iz Škrljevca in okoliških zaselkov ter ga nosila prodajati v Piran.
Po vojni se je začelo življenje spreminjati tudi tukaj. Ljudje so se začeli preseljevati bliže centrom, ki so omogočali lažje šolanje otrok, kot tudi nove službe v takrat nastajajoči industriji.
Položaj v zaselku se je izboljšal šele potem, ko se je asfaltirala cesta in je prišel telefon. Popolnoma pa se je uredil po letu 1991, ko je bil napeljan vodovod do zaselka. Tako se podoba zaselka lepša iz leta v leto.
