生成式人工智能（Generative AI）系统不断进化，虽可加快科学发现的速度，却也可能让犯罪分子在2~3年内具备制造生化武器和危险病毒的能力。多位AI领域专家，包括新创AnthropicCEODario Amodei，均呼吁应透过监管来解决滥用AI的犯罪问题。
据The Register报导，打造出大型语言模型（LLM）聊天机器人Claude的AI新创Anthropic，以注重安全闻名，并与生化安全专家合作研究神经网络被用于武器制造的可能性。CEODario Amodei日前在美国参议院科技小组委员会上表示，应透过监管来解决网络安全、核子技术、化学和生物等科学和工程领域滥用强大AI模型从事恶意行为的问题。
Amodei表示，如果不针对AI系统发展采取适当的防护及缓解措施，可能会扩大进行大规模生化攻击技术能力的参与者范围。这些接受大量科学期刊和教科书论文训练的模型，可能会随着AI进化，而将过去因安全理由严格保密的答案，被公开在大众眼前。
来自北卡罗来纳州的Collaboration Pharmaceuticals药厂也担心，开发药物的技术被有心人拿来制造生化武器。
大型语言模型对国家安全带来了潜在威胁，敌国或恐怖分子可能利用这些知识进行大规模攻击，且危险程度将随着强大开源模型的发布而加剧。
与AI研究先驱Geoff Hinton和Yann LeCun并称AI教父的Yoshua Bengio，也敦促立法者透过立法管控AI模型的能力。Bengio认为政府需要提出定义并与时俱进，确保未来的AI版本在发布之前均进行过仔细评估。
Bengio指出，如果可以控制所部署的模型，就能够监控其使用情况，透过改变模型、撤销用户存取权限等方式缓解滥用。
另外就是责任归属问题，加州大学伯克莱分校电脑科学系教授Stuart Russell表示，这就好像某家企业决定公开贩售可制造核武的浓缩铀，如果有人利用浓缩铀制造出炸弹，该企业应负有连带责任。
不过开源AI社群似乎并不认同这样的观点。由GitHub、Hugging Face、Eleuther AI等公司组成的联盟便呼吁《欧盟AI法案》应保护开源创新，相关AI计划的监管审查应与私人企业制造的产品和服务有所区别。
责任编辑：毛履万亿
