京都是公卿都市，大阪是商人都市，江户则是武士都市。
世代与家族住在江户的旗本算是幕府将军的武装亲卫队，而每隔一年基于「参勤交代」陪同诸大名到江户驻在的武士便完全是单身赴任。他们都住在藩主江户主宅内的宿舍，大名藩主的宅邸动辄三、四千坪，而且除了上宅（主宅），在其他地方还有几处中宅（外宅）、下宅（别宅）、抱宅（类似别墅）或米仓宅等。
一些大大名的主宅更大，例如百万石加贺藩（金泽藩）位于本乡的主宅（现东京大学）就有十万四千坪，而真正在故乡的金泽城是九万二千坪，可见各大名的驻江户机构万事都比故乡的主城更须要排场。
加贺藩上宅内建筑物约有一百多栋，而稍微有点身分的藩士，例如俸禄是一、二百石的藩士，陪同藩主到江户驻在时，还要带七至十个自己的臣下或家仆一起上京。若加上长年驻江户的家臣，那么加贺藩的本乡主宅内大约有三、四千个「员工」（不包括女性）。藩主回乡期间，驻江户的人数也会减半。
由于几乎都是男人世界，而武士阶级的规则又一大堆，驻江户的藩士可以说日子过得很苦闷。
幕府公认的吉原游廓初期只在白天营业，是因为当时的游客以武士阶级为主，而武士既不能夜游也不能在外面过夜，必须于关大门时刻前回藩宅。万一在外过夜或在外游荡时，藩宅内发生什么大事，例如藩主中风或心脏病发作突然病倒、骤亡，藩士不在藩宅内的话，下场不是被没收家禄就是切腹。毕竟当时没有手机可以一通电话就找到人。
家禄是世代固定的俸禄，就算物价随时代有上下波动，除非当事人立功，否则无法加薪或升级。但要是有职务，则另有年薪。通常一般日本时代小说中描述的几十几百「石」家门，指的是家禄。因此武士阶级以「家名」为重，倘若失去家禄，全家人甚至连后代都要流落街头。
也因此，武士的婚姻与恋爱完全是两回事。首先，武士的亲事必须得到主君许可，生下的孩子也隶属同一位主君。假如儿子跟有夫之妇或身分不同阶级的女子有染，或女儿未经许可擅自跟人恋爱，会被没收家禄跟一切家产，当然也会失去武士身分。
正房是为了家门而娶，通常在进洞房那天之前彼此不知道对方的长相和为人。所以上级武士会另找侧室，侧室这方就完全是纯粹的男女恋爱关系。当时是妻妾同居，明治时代初期，日本的侧房还可以正式