AI换脸拟声骗术出现！有人一天被骗430万

2023年，ChatGPT几乎一夜之间爆火。ChatGPT之所以大火，主要在于它踩在生成式AI上，可以简单理解成为“聊天机器人”。
在我们仍在担忧未来某一天生成式AI在文字创作、AI绘画、AI翻译、AI客服等方面替代人工，造就一部分失业的可能性的时候，一些犯罪分子则盯上了AI技术，实施电信诈骗，让人防不胜防!
近日，包头警方发布一起利用人工智能(AI)实施电信诈骗的典型案例，福州市某科技公司法人代表郭先生10分钟内被骗430万元。让人不可思议的是，犯罪分子通过智能AI换脸和模拟声音技术获取信任，让人根本无法分辨真假!可以说，AI在改变我们的生活，也让我们在AI时代可能遭遇更多的不可预测的风险。01
来AI的“降维式打击”

上述电信诈骗案例是用AI技术行骗的典型案例。与之前通过纯粹电话、微信添加好友等方式不同，犯罪分子直接利用AI换脸和模拟声音技术通过微信视频联系受害人，轻易获得信任，毕竟视频图像+声音的“惟妙惟肖”让人很难想到视频另一头是在作假行骗。
按照受害人的描述，4月20日中午，郭先生的好友突然通过微信视频联系他，短暂聊天后，好友告诉郭先生，自己的朋友在外地竞标，需要430万保证金，且需要公对公账户过账，想要借郭先生公司的账户走账。好友向郭先生要了银行卡号，声称已经把钱转到了郭先生的账户上，还把银行转账底单的截图通过微信发给郭先生。基于对好友的信任，加上已经视频聊天核实了身份，郭先生没有核实钱款是否到账，就分两笔把430万转到了好友朋友的银行卡上。然而，在郭先生发微信消息称事情已经办妥之后，好友的反应让其明白他自己遇上了高端的电信诈骗。

尽管福州、包头两地警银迅速启动止付机制，成功止付拦截336.84元，但仍有93.16元被转移，目前正在全力追缴中。
实际上，类似的案例在最近几年里数不胜数。2019年，《华尔街日报》就报道过，有犯罪分子成功模仿了英国某能源公司在德国母公司CEO的声音，诈骗了22万欧元巨款。据悉，今年4月，加拿大犯罪分子利用AI技术合成亲人声音实施诈骗，3天内至少8人上当，受害者多为老年人。而在美国，类似的诈骗案件近期也呈上升趋势。
在这里要特别提一下“AI换脸”技术和AI声音合成技术。AI换脸技术是指利用深度学习技术和AI换脸软件，将人面部特征替换成其他人的脸庞。比如，AI换脸中的Deepfake技术，只需要一张正脸照片，就能够将视频中的人脸进行置换。更为恐怖的是，有一种视频聊天实时换脸技术，可以将人脸照片直接替换视频聊天中，让照片根据你的人脸做动作，挤眉弄眼、聊天都不是问题。
而AI语音合成软件的工作原理是将一个人的声音分解成不同的组成部分，比如音轨或音节，然后将这些组成部分重新排列，形成具有相似语音模式、音调和音色的新语音。这种技术被称为“Deepfake音频”。犯罪分子利用这种技术，可以通过合成可信任人的声音等方式进行诈骗。
可以说，在AI技术的助力下，人们未来可能遭受更多来自人工智能技术的“降维式的打击”，而且在犯罪分子掌握受害人足够的信息之后，比如从微信、QQ等应用程序上获得号主的照片、视频等，就可以通过“AI换脸”技术与之进行视频聊天，进而帮助犯罪分子进行下一步的行动。
02
AI是一把“双刃剑”

过去一年时间里，由于ChatGPT突然火爆起来，各大科技巨头和创新公司都加入在AIGC技术的研发中，掀起了AI技术创作热潮。
目前，越来越多企业加入AIGC发展大潮，通过大模型的跨模态综合技术能力激发创意，提升创意内容多样性，降低制作成本，实现大规模应用。数十秒内创作一张此前需要人力数天才能创作出来的海报;一分钟内创作出人们需要数小时才能完成的文字创作;实时、高效、准确回答人们提出的各种问题……
2022年 8 月，美国游戏设计师 Jason Allen 就凭借一幅 AI 绘画作品《太空歌剧院(Théâtre D'opéra Spatial)》，获得了美国科罗拉多州博览会美术竞赛一等奖。未来，我们将看到AI技术在生活中带来的各种便利，帮助人类解决很多复杂的问题，提高生活和工作的质量和效率。
然而，AI技术是一把双刃剑，新工具的诞生无疑会引发一系列新的社会问题。当然，上述提到的利用AI行骗是众多负面影响之一。生成式AI还对版权、专利、学术等带来了诸多影响。
有人认为，AI是未来。但也有人认为，AI写作就是抄袭。目前，美国不少大学宣布禁止学生使用生成式AI工具;美国大部分的州也已禁用。日本多所大学提出针对生成式人工智能的限制措施，但具体内容不尽相同。东京大学则禁止学生完全使用生成式AI撰写论文。
今年2月，美国版权局在一封信件中表示，人工智能(AI)绘画工具Midjourney制作的一部漫画中的插图不受版权保护，因为作者只是为AI绘画工具提供文本提示，并不是最后生成图像的“主脑”，不能算创作者。这是美国法院或官方机构首次就AI创作作品的版权保护范围作出裁定。
让人啼笑皆非的是，今年3月，在美国前总统特朗普预言自己会被捕而没有如期被捕时，有人用AI绘画出特朗普被捕、审判、入狱、及逃狱的画面，画面惟妙惟肖，宛如现场直播画面，爆火全球网络。
此前不久，一名拥有百万粉丝的女网红也爆出了一起“AI换脸”事件，被人AI换脸用于另外视频之中，让其饱受伤害。
可以说，AI在给我们生活带来诸多有利变化的同时，也在对人们的财产和心理造成巨大冲击，使用不当则会给我们自己割下深深的伤口。03
对AI立法和监管刻不容缓

正是因AI带来我们的“双面性”影响，已有越来越多国家开始加大对AI技术的监管与立法。
过去数月里，随着OpenAI公司的ChatGPT等人工智能软件快速爆火，社会各界也呼吁加强AI技术的监管。比如，马斯克、苹果联合创始人沃兹尼亚克以及上千名专家联名呼吁暂停训练比GPT-4更强大的AI系统。马斯克就曾表示，“任何先进技术都可能威胁人类安全，而AI对于人类来说，则是一个更大的安全隐患。”
实际上，在AI立法上，欧洲可谓敢为人先。2021年4月，欧盟发布了一个长达108页的文件。这是全球首部试图监管AI的立法提案。此前，欧洲多个国家也相继宣布或考虑对ChatGPT进行调查监管。5月初，欧洲议会还通过了《人工智能法案》提案的谈判授权草案，旨在确保人工智能系统受到监督。
今年4月，意大利成为首个全面禁止使用ChatGPT的西方国家。这也是西方国家政府首次亲自下场，明确对ChatGPT说“不”。当然，意大利数据保护局随后也对OpenAI提出了一系列有关信息安全的要求，基于满足这些要求的前提下，ChatGPT才会允许重新在意大利上线。
5月4日，美国副总统哈里斯会见了微软、谷歌和OpenAI的CEO，讨论AI潜在风险。美国总统拜登则明确表示，这些AI企业必须在推出产品之前确保其安全性，"你们正在做的事不仅有巨大的影响力，还将带来巨大的危害。"
5月16日，美国国会参议院举行一场名为“AI监管：人工智能的规则”的听证会。OpenAI的首席执行官山姆·阿尔特曼首次赴国会听证，呼吁政府为AI系统制定安全标准，并提出“政府的监管干预至关重要”。他认为，“如果这项技术出现问题，可能会酿成大错，因此我们希望与政府合作，防止这种情况发生。”
在当前AI大行其道、野蛮式成长的背景下，我们需要通过加大AI监管和立法，给AI加装一个可靠的枷锁，让其在合情、合理、合法的框架下运行，真正服务于人类。
为了帮助行业上下游企业更好地把握AIoT市场发展商机，全球领先的专业电子机构媒体AspenCore将携手深圳市新一代信息通信产业集群联合主办【2023国际AIoT生态发展大会】，将于6月8日在深圳南山科兴科学园国际会议中心盛大举行!
预登记通道现已开启，长按二维码立即报名参会!
作者：张河勋 产业分析师EET电子工程专辑原创

作者原创文章
显示驱动IC，乍暖还寒
铠侠、西部数据计划合并，不确定性大恐流产
印度怀揣半导体大国之梦，更需真正“大国风范”
百度打造手机“新物种”，终究还是“虎口夺食”之举
三星逆势投资，看好中国经济复苏和LLM时代机遇
END

点击阅读原文，报名参加活动

新闻来源：电子工程专辑，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。