新四军军部设在汉口的什么地方?叶挺当时有着自己的考虑。一方面，这个地方要在日本租界。因为当时日租界里面居住了很多日本侨民。抗战爆发后，这些侨民纷纷离去，房子被作为敌产查封。所以，征用这些人走楼空的房子，不用花钱也不存在法律上的麻烦。另一方面，这个地方要离八路军办事处近。当时，中共已在汉口中街89号设立八路军办事处，不久中共长江局也设在办事处里面，王明和周恩来等中共领导人也在那里居住、办公。新四军军部若能靠近八路军办事处，工作上联系起来更方便。为此，他曾在汉口日租界一条街一条街地转，一栋房子一栋房子地看，最终看中了大和街26号的一幢作为敌产而被查的日式住宅楼。这座两层小楼距离八路军办事处很近，步行只要几分钟。叶挺亲自带人开锁启封，挂上国民革命军陆军新编第四军的牌子。就这样，新四军就有了自己的办公处所。

1938年1月因为战事的需要，新四军把武汉军部迁往南昌。汉口新四军办事处及其所有工作均由八路军武汉办事处接管。由于军部在汉仅一个月的时间，历史档案在战争中缺失，新四军第一任军部在汉口的事实渐渐不为大多数人所知，直至1995年才又被提起。

1997年，为纪念新四军建军60周年拍摄纪录片《铁的新四军》，汉口新四军军部旧址的现今地址得以初步确认。直至2002年汉口新四军军部旧址才最终确定并挂上文物保护单位铭牌。