根据法律规定，市、县人民政府是实施征收的法定主体，拆迁指挥部并不具有独立承担法律责任的能力，即使以自己的名义作出行政行为，也应当以其组建机关作为被告。拆迁指挥部的组建机关是县政府，所以即使协议的一方是拆迁指挥部，如果起诉协议无效的话，也应当以县政府作为被告。
 
最高人民法院关于适用《中华人民共和国行政诉讼法》的解释（法释【2018】1号）
      第二十条 行政机关组建并赋予行政管理职能但不具有独立承担法律责任能力的机构，以自己的名义作出行政行为，当事人不服提起诉讼的，应当以组建该机构的行政机关为被告。