【大咖解读Bengio笔记】邓侃:用深度学习模型,解构并重构人类思维

摘要: 不妨尝试用深度学习模型,或者强化学习模式,来重构思维逻辑,而不屈从于规则和一阶逻辑那样的推理演绎方式的束缚

10-29 17:44 首页 新智元

2017 年 11 月 8 日,在北京国家会议中心举办的 AI WORLD 2017 世界人工智能大会开放售票!早鸟票 5 折 抢票倒计时 5 天开抢。还记得去年一票难求的AI WORLD 2016盛况吗?今年,我们邀请了冷扑大师”之父 Tuomas 亲临现场,且谷歌、微软、亚马逊、BAT、讯飞、京东和华为等企业重量级嘉宾均已确认出席。


AI WORLD 2017 世界人工智能大会“AI 奥斯卡”AI Top 10 年度人物、 AI Top10 巨星企业、AI Top10 新星企业、AI Top 10 创投机构、AI 创新产品五个奖项全部开放投票。谁能问鼎?你来决定。


关于大会,请关注新智元微信公众号或访问活动行页面:http://www.huodongxing.com/event/2405852054900?td=4231978320026了解更多

1新智元专栏  


作者:邓侃


【新智元导读】Yoshua Bengio 在 Arxiv 上发表了一篇题为《意识先验》的笔记。大数医达创始人、CMU 计算机学院暨机器人研究所博士邓侃专为此笔记做了解读。他认为:“笔记往往比论文更有启发,就如同与教授喝咖啡聊天,往往更容易学到教授的思想方法。”邓侃同时也是 AI WORLD 2017 世界人工智能大会智能医疗论坛的讲者,届时他将以《多模态智能疾病诊断系统的四大技术难点》为题做出精彩分享。


2017 年 9月 26 日,深度学习大佬 Yoshua Bengio 在Arxiv 上发表了一篇笔记,标题是 The Consciousness Prior 意识先验。

 

之所以说这篇文章,不是严谨的论文,而是笔记,是因为这篇文章,既没有严谨的算法和公式,也没有严谨的实验结果和分析,而是一篇冥想和提议。

 

但是笔记往往比论文更有启发,就如同与教授喝咖啡聊天,往往更容易学到教授的思想方法。


Bengio 把人类思维解构为三个层次:感知、表征、意识


Yoshua Bengio 在这篇文章里,把人类思维解构为三个层次,感知Perception、表征 Representation、和意识 Consciousness。

 

面对一张人物照片,人类“感知”到的,是一堆像素。进而抽象到“表征”,包括五官、发型、服饰、背景等等。再进一步抽象到“意识”,包括凝重的表情、粗犷的外表、苍凉的环境等等。

 

Yoshua Bengio 提议,可以借鉴深度学习模型,譬如 RNN,来模拟从感知到表征的第一次抽象的过程。


    h_{t} = F( s_{t}, h_{t-1} ),其中 s_{t} 是感知的像素,h_{t-1} 是前序的表征,h_{t} 是修正后的表征。

 

他进而又提议,从表征到意识的第二次抽象的过程,也可以借鉴深度学习模型来完成。


    c_{t} = C( h_{t}, c_{t-1}, z_{t} ),其中 c_{t} 是意识,z_{t} 是噪音。

 

之所以有噪音,是因为意识的界定,往往模糊。譬如粗犷和野性,虽然有区别,但是难以并没有严格界定。

 

假如我们有大量做好标签的照片,就可以训练从感知到表征的深度学习模型 F(* ),和从表征到意识的模型 C( * )。

 

一个简单的系统架构,是3-layer stacked RNN。当然也可以尝试用更多层的复杂架构,或者用 CNN 替换 RNN,或者用 Attention-based Transformer 来替换 RNN。


通过重构人类思维来验证解构过程

 

从感知,到表征,到意识,是人类思维的解构过程。为了验证解构的正确,Yoshua Bengio 提议通过重构来完成验证。

 

训练好从感知到表征的模型 F(* ),和从表征到意识的模型 C( * ) 以后,假如电脑能够自动合成一张人像照片,表情凝重、外表粗犷、背景苍凉,那么重构宣告成功。

 

如果重构成功,那么解构也被证明是成功的。

 

重构的模型可以用 GAN 和 VAE 来尝试。


打破语言的束缚,解放思维


模型 F(* ) 的输出,是表征,譬如五官、发型、服饰、背景等等。模型C( * ) 的输出,是意识,譬如表情凝重、外表粗犷、背景苍凉等等。

 

意识的形态是张量,是一组数字。但是人类习惯用词汇来表达意识。YoshuaBengio 提议意识与词汇之间的关系,仍然可以用深度学习模型来模拟,

    u_{t} = U( c_{t}, u_{t-1} ),其中 c_{t} 是意识,u_{t-1} 是前序词汇,u_{t} 是修正后的词汇。

 

哲学家维特根斯坦曾说,“人有着这种感觉,他心里想说的话,总比他用言辞表述得更为清楚”。U( * ) 这个模型,把维特根斯坦的判断,表述得既清晰又简练。

 

人类的知识,往往由事实 fact 和规则 rule 组成,而且人类习惯于用简练的词汇,来表达事实和规则。所以,维特根斯坦认为,人类思维受制于语言结构,语言的界限决定思维的界限。

 

Yoshua Bengio 提议,直接用意识 c_{t} 来表达知识,而不受语言 u_{t} 的制约。

 

进而推论,不妨尝试用深度学习模型,或者强化学习模式,来重构思维逻辑,而不屈从于规则和一阶逻辑那样的推理演绎方式的束缚。

 

作者小传:



邓侃,大数医达创始人。(邮箱:kan.deng@qq.com)上海交通大学本科及硕士,美国卡内基梅隆大学(CMU)计算机学院暨机器人研究所博士,专攻人工智能及数据挖掘。


历任美国甲骨文公司(Oracle)主任系统架构师,美国泰为手机导航公司(Telenav)北京分公司总经理,百度高级总监并主管网页搜索和知识图谱。


2015年,邓侃创建北京大数医达科技有限公司,旨在将深度强化学习技术应用于医疗健康领域。


大数医达对几亿份三甲医院病历,进行结构化解析,构建海量训练数据,并结合临床指南,训练医疗深度强化学习模型。用于实现面向患者的医疗咨询服务,面向基层医生的临床导航服务,以及面向医院和医疗保险的全流程精细化质量控制和成本控制服务。


11 月 8 日,邓侃将在北京国家会议中心 AI WORLD 2017 世界人工智能大会智能医疗论坛发表题为《多模态智能疾病诊断系统的四大技术难点》。世界人工智能大会的 5 折早鸟票还有 5 天截止,抢票请点击“阅读原文”或直接去往活动行页面 http://www.huodongxing.com/event/2405852054900?td=4231978320026


欢迎登录 AI WORLD 2017 世界人工智能大会官网了解大会详情。

官网地址:http://www.aiworld2016.com/cn/2017.html 


在此,让我们透露一下邓侃老师的精彩演讲内容:


演讲主题:多模态智能疾病诊断系统的四大技术难点


北京大数医达科技有限公司,实现了多模态智能疾病诊断系统,该系统把 CNN、RNN、Attention、GAN、RL、MCTR、Knowledge Graph 等多种前沿技术融为一体,构建医学智能诊断新体系。本演讲重点介绍该系统以下 4 个方面的技术难点。


1. 把多模态数据,都转换成以医疗知识图谱为轴心的语义向量,在同一个参照系下进行相互比较和交叉操作。


2. 在知识图谱为轴心的语义向量空间中,融合多模态数据,并使用生成对抗模型提供可行又可靠的质量评估方案。


3. 用卷积神经网络技术,从病情描述中提炼病情特征,用聚焦机制,从医学知识图谱中补充相应病理逻辑,优化疾病的诊断与验证。


4. 用深度强化学习和蒙特卡洛搜索树技术,给医生推荐最佳后续化验和检查项目,补充病情描述,用最小的代价,找到诊断金指标,提高诊断精度。




【扫一扫或点击阅读原文抢购五折早鸟票”】

AI WORLD 2017 世界人工智能大会购票二维码: 




首页 - 新智元 的更多文章: