江南百景图中的闲人无法直接从游戏中永久删除或弄走，只能通过更换居住建筑、跨城市转移、隐藏建筑三种方式来调整其显示状态或位置，避免其在当前城市闲逛影响布局。
想要调整闲人位置，最直接的方法是更换其居住的特殊建筑。游戏里的闲人只能入住孟母老宅、半山阁、广寒宫、残雪楼园、采药圃、茅草屋这类专属建筑，无法进入普通民居。点击已入住闲人的特殊建筑，在界面中找到“更换”按钮，就能打开闲人列表，选择其他闲人替换入住，原先的闲人会自动回到未入住的闲置状态。如果不想让闲人出现在当前视野，也可以选择不安排任何闲人入住该建筑，让建筑保持空置，这样闲人就不会在城市街道上随意走动，只会存在于闲人列表中。
若想彻底让闲人离开当前城市，可使用跨城市转移功能。打开游戏主界面下方的“...”菜单，找到“闲人”选项进入闲人列表，选中想要转移的闲人，选择“转移”功能，再挑选目标城市即可。不过跨城市转移存在冷却限制，单次转移操作后需要等待一段时间才能再次移动该闲人，且转移期间闲人不会在任何城市显示，完成冷却后才会出现在指定城市，等待安排入住。这种方式适合城市布局紧凑，不想被闲人干扰，又想保留闲人角色的玩家。
不想看见闲人，也可以通过隐藏其居住建筑的方式实现。当闲人入住某一特殊建筑后，只要将该建筑存入仓库，闲人就会随之隐藏，不会在城市中出现。操作时长按对应建筑，选择“存入仓库”即可，存入后闲人状态仍为已入住，但不会有任何显示。需要再次让闲人出现时，只需把建筑从仓库取出并放置在城市中，闲人就会重新开始闲逛。另外，部分限时活动建筑到期后会自动消失，入住其中的闲人也会自动解除居住状态，回到闲置列表，不会随建筑一同移除。
日常打理城市时，合理规划闲人建筑的位置也能减少干扰。可以把所有闲人建筑集中放置在城市角落、郊外等偏僻区域，让闲人集中在小范围闲逛，避免出现在主要生产区或美观布局区。同时，减少同时入住的闲人数量，只保留少数喜欢的闲人角色，也能控制城市中游逛的闲人数量。闲人的存在不会消耗城市资源，也不影响生产建筑的运作，只是单纯的装饰性角色，无需过度纠结移除，合理调整位置即可。
