根据《中华人民共和国安全生产法》和相关法规的规定，非煤矿山外包工程的安全责任主要由发包单位（即矿山企业）和承包单位共同承担。具体来说：
1. 发包单位应当依法选择具备相应资质的承包单位，并对承包单位的安全生产条件进行审核，确保其符合国家有关法律法规的要求。
2. 承包单位必须严格遵守安全生产法律、法规及标准，建立健全安全生产责任制，加强现场安全管理，采取有效措施预防生产安全事故的发生。
3. 双方应在合同中明确各自的安全管理职责与权利义务。发包单位应监督承包单位履行安全生产责任，提供必要的安全技术指导和支持；而承包单位则需接受发包单位的监督管理，并如实报告作业过程中的安全隐患和事故情况。
总之，在非煤矿山外包工程中，无论是发包方还是承包方都负有重要的安全管理职责，双方需要共同努力确保施工安全。