在上海开埠后的20年间，当西方英美法等国家的侨民涌入上海时，上海的日本侨民甚少。民国初年，上海日本侨民的数量已经超过10万，占上海外国侨民数量的2/3。1907年，在上海日本总领事的监督下，上海居留民团作为上海日侨的自治团体成立。
　　居留民团的主要事业是日本人学校的经营和维持。创办的学校到1936年7月已有7所，学生数量超过3900名。表现了日本侨民对教育的重视。
　　日本侨民大都居住在虹口俗称“日本租界”的地区，位于上海现塘沽路（原文监师路）和汉阳路（原汉壁礼路）之间的虹口市场，1923年，建立了一座三角形三层的亚洲最大规模的菜市场之一，是旧租界内日侨最常规的菜市场。《上海的日本人》作者陈祖恩写道：“作为1930年前后远东第一大国际都市，当时的上海生活有来自40多个国家、总人数超过5万的外国侨民，其中日本人占约一半，除当时东北外，几乎是中国大陆日本侨民的半数。”“与生活在英美租界的日本上层人士不同，来上海的日本人中，大部分都是来中国谋生的中、下层日本人。这似乎从最早进入中国大陆的日本女性为‘唐行妇’（以中国人为服务对象的日本妓女）就可见端倪。”。“九一八”日本入侵中国东北引发上海抵制日货、不给日本人做工的浪潮，让上海的日本经济几乎陷于停顿，大多数都拖家带口、以普通人、小生意人和日企职员为主的日本居留民损失很大。“日本居留民在日本政府长期的反华侵华宣传下，并没有意识中国人的反日根源，反而由于长期受日影响，要求政府出兵对他们进行保护。日本在上海侨民多次召开侨民大会，要求日本政府对中国采取强硬态度，甚至要求进一步对中国出兵。”在日本军方支持下，日本居留民把自己当成了居住地的主人。在以日本驻沪总理事为委员长的、以日本官方和民间合组的时局委员会领导下，日本居留民团、各路联合会、在乡军人会，开展一系列对付反日运动的侨民活动。“一二八”战争一发生，各组织中的日侨便配合日本军人，以协助搜查、逮捕中国游击队的名目对中国民众施虐。