责任认定书是行政决定书,被决定对象无权提出修改。如果认为责任书有误,应在责任书下达3日内提起行政复议申请,否则只有到法院起诉请求重新裁定责任。你说的受伤人不签字这不影响认定书的生效。签字只表示收到了而已。