選手村の敷地は約44ヘクタール。住居としては約3800戸が設けられ、最大1万8000人の選手や関係者が宿泊可能となっている。
これまでの大会では、選手村の滞在期間は各国の選手団で判断されていたが、東京大会では選手の入村は競技開始の5日前から、退去は競技終了後2日までと定められている。このため、大会後半に登場する選手は開会式に、大会前半に競技が予定される選手は閉会式に原則参加できなくなると指摘されている。
新型コロナウイルス感染対策として、総合診療所とは建物が分けられる形で「発熱外来」が設けられる。新型コロナの感染者や濃厚接触者、発熱などの症状がある人の診察や検査が24時間体制で行われる。
また、選手は滞在中、原則毎日新型コロナの検査を受け、マスクの着用や「3密」の回避が義務付けられる。