6月29日凌晨3点30分,快手平台生命守护小组(以下简称“守护小组”)成员何瑷琪接到平台人工智能系统预警,一位女性用户在直播间饮酒后欲割腕,平台迅速将直播间关闭,何瑷琪立即联系用户所在地警方对其实施救助。由于救助及时,那位用户没有大碍。
9月10日是“世界预防自杀日”,由世界卫生组织和国际预防自杀协会设立,旨在帮助公众了解诱发轻生行为的危险因素,增强人们对不良生活事件的应对能力,预防轻生行为。
据了解,目前一些互联网平台普遍采用“AI+人工”的模式,利用AI等技术识别、发现相关风险,并通过人工在线干预挽救有轻生倾向的人,展开跨越网络的生命守护。
AI识别直播画面中的风险行为
摇摇晃晃的镜头、若隐若现的河流……2022年10月一天凌晨两点多的直播画面,让“网络生命守护师”苏原的心紧了起来。
直播中的一位女子,因为失恋,情绪低落,甚至割自己的手腕。这一短暂的行为意图被系统识别出来,直播被立即拉停,系统将预警信息推送给了干预小组,团队人员立即行动起来,开展救护。
目前,快手建立起轻生自残等风险画面、文字样本库,利用AI技术,通过大规模机器学习训练,识别并发现平台上的内容风险,并将风险预警推送给生命守护小组。
2021年12月的一天凌晨,快手成都基地的办公楼里,正在值班的苏原接到一条涉人身安全的预警信息,他紧盯着直播画面,密切关注着一位女子的动态。她先是跟网友互动,讲述自己的经历,随后走出门外,边走边直播。
突然间,直播画面剧烈地晃动了几下,随后一片黑暗,画面静止了。苏原凭经验推测,女子可能丢下手机,跳河了。他迅速报警,警方及时出警加以处置。
据了解,根据作品、评论等互动直播内容,“网络生命守护师”有一套报警标准。快手生命守护小组组长林雨(化名)介绍说,对未达到报警标准的,他们会联系用户沟通安抚,经判断无风险的,会将该用户纳入观察期,一旦发现风险会立即报警。
“这个工作让我更有同理心”
这是一个持续优化的环节。守护小组成员曹受君说,他们团队不断积累经验,对风险进行综合分析和判断,提高报警的准确率。
快手平台的干预标准和机制要求值班人员在10分钟内完成分析研判和报警。这就要求团队人员在短时间内掌握尽可能多的信息以作出判断,由此,苏原练就了一双侦探般的眼睛。
今年3月的一个晚上,平台收到一名用户的图片信息,并留言“怀疑这个人可能自残”。苏原迅速在该用户日常发布的内容中寻找蛛丝马迹。一张在医院拍摄的封面照片以及一张就诊单引起了苏原的注意。在综合考虑用户的风险情况后,苏原向110报警,最终这名女子没有生命危险。
在另一起事件中,苏原通过直播背景画面出现的加油站,判断有轻生念头的小伙子所在地正是他老家兰州附近,由于警方及时干预,制止了一场可能发生的悲剧。当地警方在回访电话中对苏原给予了表扬。
据快手数据显示,目前生命守护小组成员平均完成一个干预案例的时间在6分钟左右。
7×24小时生命守护,这是一个与死神赛跑的过程。曹受君说,这需要值班人员既能把握好干预的标准,也要根据具体情况及时做出应对,最大程度降低用户做出过激行为的可能性。
这群90后“网络生命守护师”的神经时常绷得紧紧的。
曹受君说,团队成员要有较强的风险识别能力、沟通能力,以及心理学专业的知识支撑。她说,对用户的某些行为,我们要判断是真轻生还是开玩笑,这些不仅需要心理学的知识,还要对生活有一定的理解。一位团队伙伴因此说,“从事这份工作让我更有同理心了”。
“他们都有走出来的可能”
同济大学附属精神卫生中心特聘教授、“树洞计划”发起人黄智生认为,轻生者在直播中或在社交媒体上发布带有轻生倾向的信息,实则是一种“求救信号”。
“求生是人的本能,轻生者通常是摇摆不定和犹豫的。”北京回龙观医院心理危机研究与干预中心干预部主任安静说,倾诉欲跟人的求生本能有关,有人在社交媒体平台上直播或发布轻生自残的内容,其实是希望有人能关注到他此刻的状态。
因此,互联网平台上的轻生干预显得尤为重要。黄智生提到,在“树洞计划”5年来主动干预的6000多个案例中,大多数人经过专业的干预都选择继续生活下去,“他们都有走出来的可能”。
据报道,目前,许多互联网平台企业都建立了轻生干预机制。阿里巴巴推出“守护生命”项目,利用人工智能技术联动商家、公安、第三方机构建立轻生干预机制,对有轻生倾向的人予以安抚干预。抖音平台从2018年开始利用AI模型识别用户发布的疑似高风险轻生内容,并在2021年年底组建了一支救助与关怀团队。
作为“网络生命守护师”的黄蓉把“保障用户的生命安全”作为职业准则。她同时认为,这是一个系统工程,需要社会多方合力才能有效治理。
快手生命守护小组把类似于不明日历的可疑、高危信息也纳入报警的标准。曹受君说,哪怕没有发生即时危险,警察的到来也许会打断用户的轻生选择,进而挽救他的生命。
林雨透露,平台上半年联合各方救下131名有轻生倾向者的背后,是对5530条确定性风险预警信息的研判。而这些确定性风险预警信息,则是从每天近万条被标记为潜在风险的信息中筛查出来的。
“尽管系统的发现预警能力不断增强,但对我们来说,一直处于如履薄冰的状态。”林雨说,很多风险信息事后被证明是无效信号,有些人可能是在开玩笑,也可能是发泄情绪,但我们却不敢轻易地放过去。
“世界预防自杀协会曾对轻生未遂者进行过访问,他们说‘如果当时有人关心我们,能跟我们聊聊,我们是愿意谈的,这可能就会改变我们生命的轨迹’。”安静说。
赵一飞 中青报·中青网记者 杨宝光