GPT-4 化身邪恶化学家！中国科大、微软研究院发布首个“科学风险”基准和 SciGuard 大模型

图片地址：https://img.ithome.com/newsuploadfiles/2023/12/71cdef6f-d54e-490e-928e-b8e47b86eba6.png?x-bce-process=image/format,f_auto

来自中科大等机构的联合团队提出了一种全新的方法 ——SciGuard，可以保护 AI for Science 模型，防止生物、化学、药物等领域模型不会被不当使用。与此同时，团队还建立了首个专注于化学科学领域安全的基准测试 ——SciMT-Safety。「我们的实验失控了！这是我们自己创造的末日！」——《后天》（The Day After Tomorrow）在科幻电影中，疯狂科学家通常是造成末日灾难的主角，而 AI 技术的迅猛发展似乎让这种情景离我们越来越近。全球对 AI 潜在威胁的关注更多聚焦于通用的人工智能以及各种多媒体生成模型，但更重要的是如何监管「AI 科学家」，即对那些快速发展的科学大模型。为应对这一挑战，来自中科大、微软研究院等机构的联合团队深入分析了各种 AI 模型在 Science 领域如生物、化学、药物发现等领域的风险，并通过实际案例展示了化学科学中 AI 滥用的危害。论文链接：https://arxiv.org