​热搜!“只要能看到脸的都能换”,涉黄AI换脸案有人用暗恋女生换脸,不少女明

2024-03-24 21:04 来源:网络 点击:

热搜!“只要能看到脸的都能换”,涉黄AI换脸案有人用暗恋女生换脸,不少女明星“中招”,法官提醒

日前,话题词 # 涉黄 AI 换脸案有人用暗恋女生换脸 # 冲上热搜。

据央视新闻报道,"AI 换脸 " 相信大家都不陌生。只需要一张照片,通过人工智能深度合成技术,任何人都能成为视频中的主人公,甚至连表情和动作都能以假乱真。然而,这项新技术,却让一些人产生了不良想法,杭州的虞某就利用 "AI 换脸 " 软件生成大量淫秽视频进行传播,被换脸的有不少女明星等公众人物,虞某甚至还提供换脸定制服务。最终,虞某犯制作、传播淫秽物品牟利罪,被判有期徒刑七年三个月,并处罚金 6 万元。

法官提醒:"AI 换脸 " 技术即便只是用来搞笑或者制作恶搞照片,也有可能涉及侵犯肖像权、名誉权,造成严重后果的,还可能构成侮辱罪或者诽谤罪。

有人用暗恋女生换脸

2022 年 8 月,杭州市萧山警方在网上巡查中获取一条线索,辖区内有人利用 AI 技术制作淫秽视频在网上进行大量传播,警方依法对此立案侦查,并迅速抓获了犯罪嫌疑人虞某,随后该案被移送至杭州市萧山区人民检察院审查起诉。

图片来源:视频截图

检察机关调查发现,虞某从 2020 年开始接触 "AI 换脸 " 软件,起初,他想通过在网上推广该项技术以及相关的软件来获利,但是,一段时间过后关注他的人却很少,一次偶然的机会,虞某看到有人在社交群组中发布淫秽信息来吸引他人关注,于是他也动起了类似念头。

据虞某供述,为了吸引更多的关注和流量,他在社交软件上创建了 " 浏览群 " 和 " 私人定制群 "," 浏览群 " 主要用来传播 "AI 换脸 " 的淫秽视频吸引、招揽观看者,其中包括一些经过虞某换脸的视频,当有人提出 " 定制换脸 " 的需求,虞某会将这些人引入所谓 " 私人定制群 "。

杭州市萧山区人民检察院第七检察部检察官助理陈禹尧:通过收取入(浏览)群费用的方式,一个 198 元、298 元或者 398 元。另外一个就是虞某还提供人脸视频定制服务,相当于客户如果需要定制一个换脸的视频,他可以根据时长,根据视频的难度大小收取相应的费用。

据检察机关调查,虞某一边通过传播换脸的淫秽视频来 " 吸粉引流 ",同时又通过出售 "AI 换脸 " 软件和提供所谓 "AI 换脸 " 的私人定制服务,在不到半年的时间里就获利数万元。而被 "AI 换脸 " 侵害人脸敏感信息的受害者,不仅包括多位知名公众人物,还有很多不特定的普通人。

据检察机关调查,虞某根据 "AI 换脸 " 视频的长度、清晰度等难易条件,按照 5 分钟 300 元、10 分钟 500 元等标准来收取定制的费用。虞某声称," 只要能看到脸的都能换 "。

据检察机关了解,虞某的客户要求 " 定制 " 换脸的对象不仅包括一些知名的公众人物,也有生活中的普通人,其中就有人提出想要定制自己暗恋女生的换脸视频,而对于这些未经同意就擅自侵犯他人敏感信息的违法行为,虞某也是来者不拒。

另外,虞某除了进行定制化的换脸服务,还将 "AI 换脸 " 软件分为初级、中级和高级三个等级进行销售并传授使用教程,同时还提供网上非法收集的他人人脸素材。

2023 年 4 月 14 日,杭州萧山区人民检察院决定对虞某 "AI 换脸 " 侵犯公民个人信息公益诉讼案立案,当日履行公告程序,公告期满,无适格主体提起诉讼。6 月 9 日,检察机关依法对虞某提起民事公益诉讼。7 月 28 日,该案在杭州互联网法院一审公开审理。

2023 年 11 月,杭州市萧山区人民法院判决被告人虞某犯制作、传播淫秽物品牟利罪,判处有期徒刑七年三个月,并处罚金 6 万元。

图片来源:视频截图

AI 技术的迭代升级让不法分子借助智能 AI 换脸和拟声技术,就可轻松实现远程视频诈骗。记者调查发现,最近多地出现的 AI 换脸诈骗案件,均具备定制性、迷惑性等特征。

"AI 换脸 " 诈骗,眼见不一定为实

据新华每日电讯,AI 技术的迭代升级让不法分子借助智能 AI 换脸和拟声技术,就可轻松实现远程视频诈骗。记者调查发现,最近多地出现的 AI 换脸诈骗案件,均具备定制性、迷惑性等特征。

其中,香港警方近期披露一起涉案金额高达 2 亿港元的多人 AI 换脸诈骗案尤为典型。据媒体报道,某公司职员受邀参加公司 " 多人视频会议 " 时,先后将 2 亿港元分别转账到 5 个本地银行账户内。据警方调查,这场视频会议中除了受害者外,其余均为 AI 换脸后的诈骗人员。

不少业内专家表示,随着文生视频大模型 Sora 等多模态人工智能的探索和出现,人们可能陷入 " 眼见也不一定为实 " 的困局。" 一直以来,银行等部门将实时视频用作检验身份的手段之一,如今其可靠性将面临巨大挑战。" 沈福俊说," 随着人工智能技术的迭代升级,这类违法行为还可能演变出更多形态。"

中国行政法学研究会常务理事、华东政法大学教授沈福俊坦言,对此类 AI 换脸和 AI 拟声的恶性诈骗案件,若只依靠传统监管手段已不能防堵,监管部门在提升自我科技能力储备的同时,有必要引入新兴技术,探索用 AI 技术监管 AI 的可能。

从消费者角度出发,沈福俊建议提升全民个人信息保护意识,谨防隐私泄露。" 不管是在互联网上还是社交软件上,尽量避免过多地暴露自己的信息,在涉及转账交易等行为时,可以多角度询问身份信息,反复验证对方是否为本人。"

据北京商报报道,当前 AI 换脸的一些技术弱点仍然存在。中国信通院人工智能中心安全与元宇宙部主任石霖指出,一些换脸的视频会存在光照、表情等不够自然、帧与帧之间不够连贯的问题,尽管随着模型能力的提升,这些换脸的痕迹已经做到几乎肉眼难以辨别的程度,但我们仍然可以通过一些专用的检测算法进行辨别。这些检测算法在训练过程中大量学习了换脸视频中伪造特征的方式,在使用的过程中逐帧提取特征,从而判断一段视频是否经过了换脸。当前,这些技术已经开始用在金融场景中,实现对诈骗等行为的识别。

那么,这些鉴别技术应用于反诈领域,前景如何?不得不承认,网络信号与算力仍是待解决的难题。" 由于这些技术仍然需要大量的计算资源特别是 GPU 的支持,因此,通常在使用过程中,需要将相关的检测模型部署在服务器中。但如果想要将这些检测模型部署在手机、个人电脑中,或嵌入到社交、会议软件里,可能会对软硬件的使用体验造成较大的影响。近年来,很多技术企业已经开始尝试不断优化检测模型,探索将模型部署在端侧。" 石霖说道。

每日经济新闻综合央视新闻、新华每日电讯、北京商报

每日经济新闻