미국 Facebook은 11월 27일(현지 시간) 자살을 암시하는 게시물이나 라이브 동영상(이하 게시물)를 AI (인공 지능)를 사용하여 검출하고 전문 대응팀에 보고하는 기능을 유럽 연합 (EU)을 제외한 세계 출시했다고 발표했다.
Facebook은 2011년부터 자살 방지 대책의 일환으로 문제가 있는 게시물을 모니터링하여 필요한 경우 사용자에서 조언의 메시지를 전달하는 전문 대응팀(Community Operations)을 운영하고 있다.
자살 위험 사용자의 계시물의 사용자에게 표시되는 메시지
이전에는 페친과 같은 제삼자의 신고를 기반으로 활동했으나 앞으로는 AI의 패턴 인식 기술을 활요해서 자살을 암시하는 게시물을 검색하고 Community Operations팀에 자동으로 보고한다고 한다. 그러면 어느 때보 다 신속하게 자살의 위험이있는 사용자에게 연락을 취할 수 있게 된다고 한다. 미국에서는 지난 1개월동안 AI를 테스트하고 그 사이에 100건 이상의 게시물이 전문팀에 보고되는 실적을 보였다.
AI가 확인하는 게시물 자체뿐만 아니라 댓글도 그 대상된다. 예를 들어 라이브 동영상 댓글에 "괜찮아?" "도움이 필요하십니까?"등의 댓글이 붙으면 AI가 그것을 감지하고 보고한다.
또 Facebook은 AI를 지원 대상의 우선 순위 결정에도 사용한다. 문제 신고 된 게시물을 패턴 인식으로 더 자세히 분석하여 정말 시급한 게시물의 리뷰를 우선하도록 Community Operations팀에 통보한다고 한다.
또한 팀 구성원이 개별 게시물의 어느 부분이 문제인지 신속하게 확인할 수 있도록 예를 들어 동영상의 경우 댓글이 집중하고있는 부분을 표시한다.
Community Operations팀은 연내에 7500 명 이상이 될 전망이고 이 인원으로 전세계에서 올라오는 보고에 대처할 계획이다. Facebook은 AI 기술의 정확성 향상과 오탐 방지를 위해 더 많은 투자를 할 계획이라고 한다.
이 회사는 2011 년 12 월 부터 자살 의심 있다는 보고 있던 사용자에게 자살 방지 핫라인을 연중 무휴로 24 시간 운영하고있다 National Suicide Prevention Lifeline 전문 상담원과의 채팅 등을 조언 메일을 보내는 등 자살 방지 대책에 임해왔다.
새로운 기능으로 자살 암시 보고가 있는 사용자가 Facebook에 로그인하면 다음과 같은 메시지가 표시된다.
suiside
"안녕 제럴드. 네 친구가 네가 곤란 해하고있는 것 같기 때문에 최근 게시물을 봐달라고 우리에게 부탁했어"(왼쪽) "우리에게 당신은 소중 하니까 필요하면 너를 도와주고 싶어. 너 는 혼자가 아니라는 ── 매월 다수의 사람에게 이런 메시지를 보내고있는거야. 넌 어떻게하고 싶어? "(오른쪽)
이 메시지에서는 전문 상담원에게 상담뿐만 아니라 친구와 상담 할 수있는 링크와 어려운 상황에 대처하기위한 Tips 등을 소개하고있다.
또한 자살 의심되는 사용자를 신고 한 사용자의 친구에 대해서도 그 친구에게 메시지를 보내거나 전문 상담원을 조언위한 지원을 제공한다.
이러한 대책 자원은 의료 전문가 및 연구자와 협력 해 구축했다고한다.
새로운 자살 방지책은 우선 미국에서 향후 2 개월 동안 "롤링 아웃"하고 미국 외에서도 확대 해 나갈 계획이다.