Qualtrics首席安全官阿薩夫·克倫(Assaf Keren)期望同事們能更深刻地認識到深度偽造技術(shù)的質(zhì)量正不斷提升,其危險性日益加劇。為此,他制作了一段視頻,在該視頻中,公司首席執(zhí)行官被塑造成一個從未來穿越而來的邪惡人工智能角色,警告員工視頻和語音模仿的威脅迫在眉睫。
他僅花費20美元便完成了這項實驗。在上周于舊金山舉辦的《財富》人工智能頭腦風暴大會上,克倫表示:“這并非因為我無法免費完成這項實驗,而是因為我偷懶?!?/p>
他承認,在線調(diào)查提供商Qualtrics可能不是網(wǎng)絡攻擊的主要目標,而像他的前雇主貝寶(PayPal)這樣的知名金融公司則可能成為攻擊目標。益博睿集團(Experian)的首席創(chuàng)新官凱瑟琳·彼得斯(Kathleen Peters)指出,她確實認為深度偽造技術(shù)對企業(yè)聲譽構(gòu)成了真正威脅,可能會削弱人們對領導層的信任。
如今,克隆首席執(zhí)行官和普通人的視頻和語音已司空見慣??藗愓f:"我們經(jīng)常在現(xiàn)實生活中看到這種情況?!痹谝粋€例子中,攻擊者利用未經(jīng)確認公司的財報電話會議記錄來訓練人工智能,進而對該公司的財務人員實施網(wǎng)絡釣魚攻擊,這樣就可以更準確地模仿高管的講話方式。
克倫提到,兩年前的情形與現(xiàn)在大不相同。他回憶道,當時人們對于深度偽造技術(shù)的討論還停留在:“技術(shù)上雖然能夠?qū)崿F(xiàn)這一點,但我們在現(xiàn)實生活中還未發(fā)現(xiàn)實例?!?/p>
克倫補充說:“這是一種持續(xù)演進中的攻擊手段,”只是黑客工具箱中眾多人工智能工具之一。
安全軟件公司Okta的客戶身份云業(yè)務總裁希夫·拉姆吉(Shiv Ramji)預測,在不久的將來,人類將難以區(qū)分深度偽造內(nèi)容與真實內(nèi)容。而且,機器將比人類更擅于發(fā)現(xiàn)偽造內(nèi)容。
盡管不受控制的人工智能會帶來風險,但信息安全領域的領導者仍希望員工嘗試新技術(shù),但在嘗試的過程中需要保持謹慎。
彼得斯建議公司成立風險委員會,或由擁有安全措施執(zhí)行權(quán)限的高管組成的小組,以促使領導層在考慮收入增長的同時,給予安全問題同等重視。
拉姆吉指出,隨著部分企業(yè)開始使用人工智能代理來替代人類員工執(zhí)行工作任務,團隊應考慮授權(quán)這些代理處理的數(shù)據(jù)和任務范疇。他說,人類仍應在整個流程中驗證代理的活動,并且預見到未來代理之間的互動將呈現(xiàn)“爆炸式”的增長態(tài)勢。
拉姆吉說:“這是機器與機器之間的對話,它們將全年不間斷地進行這樣的交流,且不受人類輸入模式和交互模式的限制。"(財富中文網(wǎng))
譯者:中慧言-王芳
Qualtrics首席安全官阿薩夫·克倫(Assaf Keren)期望同事們能更深刻地認識到深度偽造技術(shù)的質(zhì)量正不斷提升,其危險性日益加劇。為此,他制作了一段視頻,在該視頻中,公司首席執(zhí)行官被塑造成一個從未來穿越而來的邪惡人工智能角色,警告員工視頻和語音模仿的威脅迫在眉睫。
他僅花費20美元便完成了這項實驗。在上周于舊金山舉辦的《財富》人工智能頭腦風暴大會上,克倫表示:“這并非因為我無法免費完成這項實驗,而是因為我偷懶?!?/p>
他承認,在線調(diào)查提供商Qualtrics可能不是網(wǎng)絡攻擊的主要目標,而像他的前雇主貝寶(PayPal)這樣的知名金融公司則可能成為攻擊目標。益博睿集團(Experian)的首席創(chuàng)新官凱瑟琳·彼得斯(Kathleen Peters)指出,她確實認為深度偽造技術(shù)對企業(yè)聲譽構(gòu)成了真正威脅,可能會削弱人們對領導層的信任。
如今,克隆首席執(zhí)行官和普通人的視頻和語音已司空見慣??藗愓f:"我們經(jīng)常在現(xiàn)實生活中看到這種情況?!痹谝粋€例子中,攻擊者利用未經(jīng)確認公司的財報電話會議記錄來訓練人工智能,進而對該公司的財務人員實施網(wǎng)絡釣魚攻擊,這樣就可以更準確地模仿高管的講話方式。
克倫提到,兩年前的情形與現(xiàn)在大不相同。他回憶道,當時人們對于深度偽造技術(shù)的討論還停留在:“技術(shù)上雖然能夠?qū)崿F(xiàn)這一點,但我們在現(xiàn)實生活中還未發(fā)現(xiàn)實例?!?/p>
克倫補充說:“這是一種持續(xù)演進中的攻擊手段,”只是黑客工具箱中眾多人工智能工具之一。
安全軟件公司Okta的客戶身份云業(yè)務總裁希夫·拉姆吉(Shiv Ramji)預測,在不久的將來,人類將難以區(qū)分深度偽造內(nèi)容與真實內(nèi)容。而且,機器將比人類更擅于發(fā)現(xiàn)偽造內(nèi)容。
盡管不受控制的人工智能會帶來風險,但信息安全領域的領導者仍希望員工嘗試新技術(shù),但在嘗試的過程中需要保持謹慎。
彼得斯建議公司成立風險委員會,或由擁有安全措施執(zhí)行權(quán)限的高管組成的小組,以促使領導層在考慮收入增長的同時,給予安全問題同等重視。
拉姆吉指出,隨著部分企業(yè)開始使用人工智能代理來替代人類員工執(zhí)行工作任務,團隊應考慮授權(quán)這些代理處理的數(shù)據(jù)和任務范疇。他說,人類仍應在整個流程中驗證代理的活動,并且預見到未來代理之間的互動將呈現(xiàn)“爆炸式”的增長態(tài)勢。
拉姆吉說:“這是機器與機器之間的對話,它們將全年不間斷地進行這樣的交流,且不受人類輸入模式和交互模式的限制。"(財富中文網(wǎng))
譯者:中慧言-王芳
Qualtrics chief security officer Assaf Keren wanted to make his colleagues more aware of the increasing quality and dangers of deepfakes. So he created a video that showed the company’s CEO as an evil AI persona who was sent from the future to warn workers about the looming threat of video and voice impersonations.
He spent just $20 on the experiment. “Because I was lazy, not because I couldn’t do it for free,” Keren said at Fortune’s Brainstorm AI in San Francisco this week.
He acknowledged that Qualtrics, a provider of online surveys, might not be a prime target for cyberattacks. But high-profile finance companies like his former employer, PayPal, might be. And Experian’s chief innovation officer, Kathleen Peters, said she does think of deepfakes as a real risk to corporate reputations that can erode trust in leaders.
Today, video and voice clones of CEOs and regular people alike are common. “We’re seeing it in the wild all the time,” Keren said. In one example, the threat actor trained AI on transcripts of an unidentified company’s earnings calls to create a phishing attack targeting that organization’s finance employees, so that it would more accurately mimic how an executive speaks, he said.
Two years ago that wasn’t necessarily the case, Keren said. Back then, he recalled, the conversation about deepfakes was, “the technology can do this, but we’re not seeing it in the wild.”
“It’s an evolving attack vector,” Keren added, and just one of various AI-powered tools in a hackers’ toolbox.
Shiv Ramji, president of customer identity cloud at the security software company Okta, predicted that it won’t be long before humans are unable to distinguish deepfakes from authentic content. And machines will be better than humans at detecting the inauthentic stuff.
While unchecked AI is a risk, information security leaders still want their workers to experiment with new technology—but with caution.
Peters suggests that companies set up a risk council, or a group of senior executives with authority to enforce safety measures, that can push leadership to think about security just as much as they do about growing revenue.
And as some organizations start to play with agentic AI that carries out tasks on behalf of human workers, Ramji said teams should think about the data and tasks that those agents are authorized for. A human should still be in the loop to verify the agent’s activities, he said, foreseeing an “explosion” of inter-agent interactions.
“It’s machines talking to themselves, and they’ll be doing this 24/7, all year. They’re not limited by the human input model, interaction model,” Ramji said.