Penduduk kampung-kampung ini terdiri dari bangsa Melayu dan sedikit Cina, kesemuanya berjumlah 83 keluarga. Mereka bekerja sebagai nelayan, petani dan buruh ladang. Pada tahun 1920, empat buah lagi kampung telah dibuka iaitu:-
1. Kampung Air Biru (kini menjadi tapak pelabuhan).
2. Kampung Pasir Merah (kini menjadi tapak pelabuhan).
3. Kampung Pasir Puteh, masih kekal sehingga sekarang.
4. Kampung Pulau Tekong, menjadi wilayah Singapura.
Secara tidak langsung nama Pasir Udang mengalami perubahan menjadi Kampung Pasir Gudang oleh kerana di Kampung Ulu terdapat lombong pasir untuk dieksport ke Singapura. Pasir-pasir yang telah dikumpul akan dilonggokkan dengan banyaknya di suatu tempat. Dipercayai bersempenakan keadaan tersebut maka timbulnya nama Pasir Gudang. Pada pertengahan abad ke 19, peneroka berbangsa Cina dari suku Teochew telah meneroka lebih jauh ke daratan melalui jalan sungai yang dipenuhi kayu bakau untuk peladang. Kegiatan mereka akhirnya diperakukan melalui 'surat sungai' yang dikeluarkan oleh Sultan Johor yang membenarkan mereka membangunkan kawasan Kangkar Masai, Kangkar Plentong dan Kangkar Lunchu di bawah ketua-ketua sungai yang dipanggil Kangchu. Di tebing-tebing sungai inilah mereka mengusahakan tanaman gambir dan lada hitam. | 
