【小哈划重点：人工智能有着多种定义。科学上通常将属于图灵机概念的人工智能标志为AI，将等价于人类智能的人工智能称为AGI（通用人工智能，artificial general intelligence），而全面超越人类智能的高端智能称为SI（超级智能，super intelligence）。】
“以浪漫之心观之，技术都有去魅之弊而导致精神贫乏”
远在技术预示致命危险之前，敏感的思想家们就对技术的后果深感忧虑。众所熟知，庄子谓“有机械者必有机事，有机事者必有机心”，应该是对技术的最早批判，其理由是，技术是投机取巧躲避劳动，违背自然之道，而投机取巧之心必定心怀叵测。庄子的技术批判在尚未温饱的时代几乎不可理喻，但在理论上却有难以置信的前瞻性。当现代技术开始明显地消解生活意义之时，人们对技术开始了严重的批判。韦伯指出技术导致自然的“去魅”，即技术剥夺了一切事物的精神性，除了工具或经济价值，任何事物都失去内在价值。海德格尔进一步发现，技术导致生活诗意的消失，不仅是美学经验的退化，更是对存在的遮蔽，当失去印证存在的本真方式，生活就失去依据，精神无家可归。这些批判虽有形而上的深度，但限于浪漫主义理解。在技术中乐不思蜀的人们并不担心失去对存在本身的虚无缥缈理解，也未必为此感到遗憾。
前现代的生活或许比现代更有诗意，也更有真实感和精神依据，所以古代人更多地感慨命运，而不会像现代人那样迷惑于找不到“生活的意义”。在一次私下讨论中，李泽厚老师说，解决了温饱问题之后，生活就很容易失去确定的意义，或者说，超越了生存所需就很难确定什么是无疑的生活意义了。这个激进唯物主义的见解令人心惊，其中确有灼见，但我仍然愿意相信，在生存需要之外肯定存在着精神性的生活意义，以至于有人为之舍生忘死。古代人有着更多舍生忘死的精神理由，那时万物都有赋魅的传说，事事具有精神性。毫无疑问，嫦娥的月亮一定比阿姆斯特朗的月亮更有魅力。
老一代的技术批判都具有某种怀旧色彩，都认为技术破坏了生活的精神性。的确如此，然而无可否认的是，现代技术创造了对于生活极其重要的无数事物，比如青霉素等抗生素、外科手术、疫苗接种、抽水马桶、供暖系统、自来水系统、电灯等等，还有许多便利工具如汽车、火车、飞机、电脑之类。以浪漫主义之心观之，技术都有去魅之弊而导致精神贫乏。但我记得李泽厚问过一个类似于罗尔斯无知之幕的问题：如果不能选择人物角色，你会选择什么时代？难道会选择古代吗？对这个超现实主义问题真是无言以对，但这个问题提醒了一个事实：人性倾向于贪图便利省力、摆脱劳动、安逸享受和物质利益，因此绝大多数人宁可选择物质高于精神的技术化生活。老一代技术批判想象的人们“原有的”诗情画意生活同时也是艰难困苦的生活，什么样的精神才能拯救饥饿的肉体呢？当然也可以反过来问，物质能变精神吗？显然，物质是问题，精神也是问题。
老一代的技术批判揭发了技术对精神的伤害，却尚未触及技术的终极危险所在，在今天，我们已经可以想象技术对生存的根本挑战。可以模仿马克思说：哲学家只是不同地批判了技术，可问题是，技术改变了世界。
人工智能是否将导致文明野蛮化？
当技术问题同时成为存在论问题，真正要命的可能性就显现出来了。
存在论一向受制于单数主体的知识论视域（horizon），即以人的视域来思考存在，而且默认人的视域是唯一的主体视域，所以，存在论从来没有超越知识论。基于人类知识论的自信，康德才敢于宣称人为自然立法。也可以循环论证地说，人是自然的立法者，所以人的视域是唯一视域。不过，人们曾经在神学上设想了高于人的绝对视域，比如莱布尼茨论证了上帝能够一览无穷多的所有可能世界。然而，这种理论上的绝对视域无法为人所用，人不可能想象看清无穷多可能世界的绝对视域到底什么样。人能够有效使用的唯一视域还是人的主体性视域，如维特根斯坦所言，这是思想的界限。
思想没有能力超越自身，就像眼睛看不见眼睛自身（维特根斯坦的比喻），但思想做不到的事情却在实践中可能实现。人工智能就有可能成长为另一种主体，另一种立法者，或者另一种眼睛。这意味着一个存在论巨变：单向的存在论有可能变成双向的存在论（甚至是多向的）。世界将不仅仅属于一种主体的视域，而可能属于两种以上的主体，甚至属于非人类的新主体。人工智能一旦发展为新主体，世界将进入新的存在论。
人工智能有着多种定义。科学上通常将属于图灵机概念的人工智能标志为AI，将等价于人类智能的人工智能称为AGI（通用人工智能，artificial general intelligence），而全面超越人类智能的高端智能称为SI（超级智能，super intelligence）。
这个科学分类描述的是在技术上可测量的智能级别，但我们试图讨论智能的哲学性质，即是否具备“我思”的主体性，因此，请允许我在这里将人工智能按照其哲学性质进行划分，一类称为AI，即尚未达到笛卡儿“我思”标准的非反思性人工智能，覆盖范围与科学分类的AI大致相同，即属于图灵机概念（包括单一功能的人工智能，例如阿尔法狗，以及尚未成功的复杂功能人工智能）；另一类称为ARI，即达到或超越笛卡儿“我思”标准的反思性人工智能（artificial reflexive intelligence）。ARI约等于超级人工智能，或超图灵机，我也称之为“哥德尔机”，以表示具有反思自身系统的能力。
需要注意的是，ARI必定包括但不一定成为AGI或SI，这意味着，ARI未必具备人类的每一种才能，但必须具有自主的反思能力以及修改自身系统的能力，于是就具有自律自治的主体性，就成为无法支配的他者之心，也就成为世界上的另一种主体。
以主体性为准的分类试图突出地表达人工智能的可能质变，即奇点。目前看来，人工智能发生质变的奇点还很遥远，预言家们往往夸大其词，但问题是，人工智能的奇点是可能发生的。智能的要害不在于运算能力，而在于反思能力。人的主体性本质在于反思能力，没有反思能力就不是思维主体。如果人工智能没有反思能力，那么，运算能力越强就对人类越有用，而且没有致命危险，比如AlphaGo Zero运算能力虽强却不是对人的威胁。反过来说，即使人工智能在许多方面弱于人，但只要具备反思能力，就形成了具有危险性的主体。假设有一种人工智能缺乏人类的大多数技能，既不会生产粮食也不会生产石油，如此等等，只会制造和使用先进武器，而它却发展出了自主反思能力，那么后果可想而知。至今人工智能只具有算法能力或类脑的神经反应能力，尚无反思功能，甚至不能肯定是否能够发展出反思功能，仍然属于安全机器，即使将来可能出现的多用途并且具有灵活反应能力的人工智能，只要缺乏反思功能，就仍然不是新主体，而只是人类的最强助手。
大多数技术都只是增强或扩展人类能力，比如生产工具和制造工具的机器，从蒸汽机到发电机，从汽车、飞机到飞船，还有电话、电脑、互联网到量子科技等等，图灵机人工智能也属于此类。无论技术多么强大，只要技术系统本身没有反思能力，就没有存在论级别的危险。从乐观主义来看，此类技术所导致的社会、文化或政治问题仍然属于人类可控范围。当然其中存在一些高风险甚至恶意的技术，比如核电站就是高风险的，至今尚无处理核废料的万全之策，又如核武器，其功能是大规模屠杀。人工智能和基因技术的发展却在超出增强能力的概念，正在变成改变物种或创造新物种的技术，就蕴含着人类无力承担的风险。尽管“神一般的”能力目前只是理论上的可能性，但已经先于实践提出了新的存在论问题，也连带提出了新的知识论和新的政治问题。需要注意的是，这些新的哲学问题并不是传统哲学问题的升级版，而是从未遭遇的新问题，因此，传统哲学对技术的批判，包括庄子、韦伯和海德格尔之类，基本上无效，甚至与新问题不相干，就是说，人文主义的伦理观或价值观对于技术新问题基本上文不对题。
人工智能和基因技术都提出了挑战人的概念的存在论问题，但相比之下，人工智能的危险性似乎大过基因技术。人工智能是真正的创造物，因此完全不可测，而基因技术是物种改良，应该存在自然限度。这个断言基于一个难以证明却可能为真的信念：对于一个整体性和封闭性的系统来说，内部因素的革命能力不能超越整体预定的物理或生物限度，假如内部变化一旦超出整体限度，就是系统崩溃。在这里意味着，基因技术的革命性不可能超越生命的生物限度。也许基因技术能够成为物种优化的方法，但无论什么物种，作为生命都有其整体所允许的变化极限。基因技术是否真的能够使人长生不老，仍是未知数。据说某些爬行类或鱼类生长缓慢而长寿，或如灯塔水母甚至有返老还童的特异功能以至于好像万寿无疆，但那些非常长寿的生物都是智力极低的，这是个令人失望的暗示。如果对人进行根本性的基因改造，是否会引起生命系统的崩溃？比如说，大脑或免疫系统会不会崩溃？试图通过基因技术将人彻底改造为神一般的全新物种，在生物学上似乎不太合理。更现实的问题是，基因优化哪怕是有限的就已经非常可能导致社会问题的恶化，以至于导致人类集体灾难，在此不论。
就创造新物种的能力而言，人工智能比基因技术更危险。人工智能一旦突破奇点，就创造了不可测的新主体，而对于新主体，传统一元主体的知识、视域和价值观将会破产，而二元主体（甚至多元主体）的世界还很难推想。尽管许多科幻作品想象了恐怖的机器人或外星人而使人得到受虐的快感，但人类对技术化的未来并没有认真的思想或心理准备。且不说遥远的二元主体世界，即使对近在眼前的初级人工智能化或基因技术化的社会，人们也缺乏足够的警惕。先不考虑末日问题，高度技术化的社会也将高度放大本就存在的难题而使人类陷于不可救药的困境，比如贫富分化、阶级斗争、种族斗争、民族斗争、资源稀缺、大自然的萎缩和失衡。
刘慈欣在论文式的短篇小说《赡养上帝》和《赡养人类》中想象了万事智能化的“暮年文明”令人绝望的故事。其中有两个切中要害的论点：
其一，高度发达的人工智能几乎万能，全自动运行，于是形成让所有人丰衣足食的“机器摇篮”，正如宇宙中极其发达而名为“上帝文明”的人所说的：“智能机器能够提供一切我们所需要的东西，这不只是物质需要，也包括精神需要，我们不需为生存付出任何努力，完全靠机器养活了，就像躺在一个舒适的摇篮中。想一想，假如当初地球的丛林中充满了采摘不尽的果实，到处是伸手就能抓到的小猎物，猿还能进化成人吗？机器摇篮就是这样一个富庶的丛林，渐渐地，我们忘却了技术和科学，文化变得懒散而空虚，失去了创新能力和进取心，文明加速老去”，于是所有人都变成了“连一元二次方程都不会”的废物（《赡养上帝》）。这里提出的问题是，人工智能创造的幸福生活却事与愿违地导致了文明衰亡。
其二，人工智能社会还有另一个更具现实性的版本。一个尚未达到“上帝文明”那么发达的智能化文明就已经陷入了文明的绝境。在小说中，比地球发达而文明类型完全相似的“地球兄弟文明”的人讲述了地球文明的前景：全面智能化的社会不再需要劳动，富人也就不再需要穷人，而阶层上升的道路也被堵死，因为富人垄断了“教育”。那不是传统意义上的教育，而是人工智能和生物技术合作而成的人机合一技术，购买此种极其昂贵的“教育”就成为超人，在所有能力上与传统人不在一个量级，其级差大过人与动物的差别，于是“富人和穷人已经不是同一个物种了，就像穷人和狗不是同一个物种一样，穷人不再是人了……对穷人的同情，关键在于一个同字，当双方相同的物种基础不存在时，同情也就不存在了”（《赡养人类》）。这说明，无须等到出现超级人工智能，智能化社会就已经足以把部分人类变成新物种，就是说，即使人工智能的奇点没有出现，人类文明的严重问题就可能来临。
且不说人工智能的奇点，近在眼前的问题就足够惊心动魄了。人类本来就未能很好地解决利益分配、社会矛盾、群体斗争或文明冲突等问题，这些问题之所以无法解决，根本原因在于人性的局限性，而不在于人谋的局限性。令人失望的是，人类解决问题的能力明显弱于制造问题的能力，所以积重难返，而人工智能或基因技术是放大器或加速器，对老问题更是雪上加霜。尽管人类发明了堪称伟业的政治制度、法律体系和伦理系统，但人类思想能力似乎正在逼近极限，近数十年来，世界越来越显示出思想疲惫或者懒惰的迹象，思想创意明显减少，思想框架和概念基本上停留在200年前。对于人工智能和基因技术等新问题，除了一厢情愿的伦理批判，就似乎一筹莫展。为什么对人工智能的伦理批判文不对题而无效？其中有个恐怖的事情：在一个文明高度智能化的世界里，伦理学问题很可能会消失，至少边缘化。这是与人们对文明发展预期相悖的一种可能性，看起来荒谬，但非常可能。
通常相信，人类文明在不断“进步”。就科学技术而言，毫无疑问是在进步，但除了科学和技术，其他方面是否进步就存在争议了。技术的本质是能力，而能力越大，其博弈均衡点就对技术掌权者越有利。如果技术掌握在少数人手里，弱者的讨价还价收益就越小。那么，给定人性不变，文明的人工智能化就非常可能导致文明的重新野蛮化（re-barbarization）。
在这里，“野蛮化”不是指退化到洪荒的生活水平，而是指社会关系恶化为强权即真理的丛林状态，就是说，既然占有技术资源的人拥有压倒一切的必胜技术，就不需要伦理、法律和政治了。这个霍布斯式的道理众所周知，只是宁愿回避这个令人不快的问题而维护一种虚伪的幻觉。人类一直都有好运气成功地回避了这个“最坏世界”问题，那是因为霍布斯的世界里没有绝对强者，既然强者也有许多致命弱点，那么人人都是弱者，而每个人都是弱者这个事实正是人类的运气之所在。正如尼采的发现，弱者才需要道德。人人为弱者就是人类的运气，也是伦理、法律和政治的基础，伦理、法律和政治正是互有伤害能力的弱者之间长期博弈形成的稳定均衡。当然也有博弈均衡无法解释的“精神高于物质”的例外，比如无私的或自我牺牲的道德，这是人类之谜。精神高于物质的现象并非人类社会的主要结构，不构成决定性的变量。
高度发达的人工智能或基因技术或有一天可能宣布人类的运气用完了（并非必然）。按照最小成本和最大利益定理可推，人类文明之所以发展出复杂的制度、伦理和法律，是因为没有能力以低成本的简单方式去解决权力和利益问题。通常相信，文明的复杂程度标志着文明的发达程度，复杂性与精致、巧妙、协调、难度和精神性等文明指标之间确有相关性，所以“高级”。一个成熟文明的伦理道德是复杂的，法律和制度是复杂的，思想和艺术也是复杂的。这些成熟标志隐蔽了一个本质问题：复杂意味着高成本（包括交易成本），而正因为高成本，所以不可能实现利益最大化。
于是有一个残酷的定理：如果有能力以最小成本的最简单方式去获得最大利益，人就会理性地选择简单粗暴的方式去解决问题，而不会选择复杂的高成本的方法。因此可知，一旦人工智能和基因技术创造了绝对强者，绝对强者就很可能利用绝对优势的技术去实现文明的重新野蛮化，比如说消灭“无用的”人，而放弃高成本而复杂的伦理、法律和政治。显然，对于一个重新野蛮化的高技术世界，伦理学就文不对题了。不过，人类还有反思和调整的时间，这不知算不算是好消息。
对可能出现的文明重新野蛮化，人们之所以缺乏足够的警惕性，或与启蒙运动以来人类的主体性傲慢有关，这同时也是理性的傲慢。启蒙理性告别了以神为尊，转向以人为尊，这场伟大的思想革命使人陶醉于主体性的胜利而逐渐忘却了人的真实面目。在以神为尊的古代，神是不可质疑的，同样，在以人为尊的现代，人也是不可质疑的，于是掩盖了人的弱点、缺点甚至罪恶。只要世界出现了什么坏事，总是归罪于制度或观念，不再反思人。
从“原罪”中脱身的人再也没有负担，肆无忌惮地以人之名去要求获得一切快乐、利益和权利。现代政治的根据不再是对人有所约束的自然神学或宗教神学，而是人的神学，所谓大写的人。可是渺小而自私的人即使“大写”又能有多大呢？人凭什么获得想要的一切？主体性的傲慢反而揭示了人的神学是反人类的。
个人主义可以保护个人，却没有能力保护人类，个人主义的这个致命弱点在人类整体面临挑战时就暴露无遗了。将来如果出现超人类的人工智能，或者极少数人控制了高能的人工智能，个人主义社会将没有能力反抗人工智能的统治，因为人工智能不是个人，而是比所有个人强大得多的系统。如前所言，绝对强者的人工智能系统不需要苦苦地通过复杂而高成本的制度、伦理和法律去解决社会矛盾，而将会“理性地”选择简单粗暴的解决方式。简单地说，启蒙运动以来的现代思想和信念对于技术为王的未来问题是文不对题而且无能为力的。史蒂芬·平克还在呼唤“当下的启蒙”，可是技术的脚步已经跨越了启蒙的思想而走向危险的未来。
人类的问题正在更新换代，目前的哲学对技术社会的新问题一筹莫展。
人类思维如何反思人工智能？
为了理解新问题，看来需要进一步分析意识的秘密。意识是人类最后的堡垒，也是人类发现出路的唯一资源。可是人类研究意识至少有两千多年了，仍然对意识缺乏整体或透彻的理解。在意识研究中，亚里士多德对逻辑的发现是其中最伟大的成就，其他重要成就还包括休谟对因果意识和应然意识的研究、康德对意识先验结构的研究、索绪尔以来的语言学研究、现代心理学研究、弗洛伊德以来的精神病研究、胡塞尔的意向性研究、维特根斯坦对思想界限的研究，还有当代认知科学的研究，如此等等。但意识之谜至今尚未破解，一个重要的原因是，以意识去反思意识，其中的自相关性使意识不可能被完全对象化，总有无法被理解的死角，而那个无法理解的地方很可能蕴含着意识的核心秘密。
现在似乎出现了意识客观化的一个机会：人工智能开始能够“思维”——思维速度如电，尽管思维方法很简单：机械算法和应答式反应。正是这种简单性使人产生一种想象：思维是否可以还原为简单的运作？当然，目前的图灵机思维还没有自觉意识，只是机械地或神经反应地模仿了意识。人工智能展现的思维方式，部分与人类相似（因为是人类写的程序），也部分与人类不相似（因为机器的运作终究与生物不同），那么，是否能够从人工智能来映射意识？或者说，人工智能是否可以理解为意识的一种对象化现象？或至少成为有助于理解思维的对比参数？这些尚无明确的结论。
这里至少有两个疑问：
其一，即使是将来可能实现的多功能人工智能，也恐怕不能与人的思维形成完全映射。按照我先前的分析（或许有错误），图灵机概念的人工智能不具备原创性思维（区别于假冒创造性的联想式或组合式的思维），也没有能力自己形成或提出新概念，更不能对付自相关、悖论性或无限性的问题，也没有能力定义因果关系（可笑的是，人至今也不能完美地定义因果关系），因此，人的思维不可能还原为图灵机人工智能；那么——
其二，假如人工智能达到奇点，跨级地发展为ARI，成为另一种意识主体，是否等价于人的意识？这个问题的复杂性和不确定性超出了目前的理解能力，类似于说，人是否能够理解神的思维？或是否能够理解外星人的思维？关键问题是，假定存在不同种类的思维主体，是否有理由推断，所有种类主体的思维都是相通一致的？都能够达成映射——哪怕是非完全的映射？这个问题事关是否存在普遍的（general）思维，相当于任何思维的元思维模式。这是关于思维形而上学的一个终极问题。
设想另一种主体的思维要有非常的想象力。我读到过两种（莱布尼茨所理解的上帝思维太抽象，不算在内）：一种是博尔赫斯在小说《特隆、乌克巴尔、奥尔比斯·特蒂乌斯》中想象的“特隆世界”，特隆文明只关心时间，特隆人所理解的世界只是思想流程，于是，世界只显现时间性而没有空间性。以此种思维方式生产出来的知识系统以心理学为其唯一基础学科，其他学科都是心理学的分支。特隆的哲学家不研究真实，“只研究惊奇”，形而上学只是一种幻想文学（算是对人类的形而上学的嘲笑）。摆脱了空间负担的思维无疑纯度最高，对于唯心主义是个来自梦乡的好消息，可惜笛卡儿、贝克莱、康德和胡塞尔没有听说过这么好的消息。
另一种惊人想象见于刘慈欣的《三体》三部曲。三体人以发送脑电波为其交流方式，不用说话，于是，在三体文明里，交流中的思维是公开的，不能隐藏想法，一切思想都是真实想法（哈贝马斯一定喜欢这种诚实的状态），因此不可能欺骗、说谎或伪装，也就不存在计谋，不可能进行复杂的战略思维，所有战争或竞争只能比真本事。这种完全诚实的文明消除了一切峰回路转的故事，显然与人类思维方式南辕北辙。
宇宙无奇不有，也许真的存在着多种思维方式，至少存在着多种思维的可能性。让我们首先假定，各种主体的不同思维之间是能够交流并且互相理解的。如果没有这个假定就一切免谈了。进而可推知，在不同的诸种思维模式之中存在着普遍的一般结构。那么，一般思维会是什么样的？我们无法直接知道一般思维的本质，因为不存在一种“一般的”思维，只有隐藏于所有思维中的一般结构。基于上述假设，各种思维之间至少在理性化内容上存在着充分的映射关系，因而能够互相理解一切理性化的语句，否则等于说，关于宇宙可以有互相矛盾的物理学或数学——这未免太过荒谬。荒谬的事情也许有，但在这里不考虑。
同时，毫无疑问，不同思维里总会有互相难以理解的非理性内容，奇怪的欲望或兴趣，比如上帝不会理解什么是羡慕，或某种单性繁殖的外星人不理解什么是爱情，但此类非理性内容不影响理性思维的共通性。于是有一个“月印万川”的等值推论：如果充分理解了任意一种思维，就等于理解了思维的一般本质。但是，如前所言，我们只见过人类思维，可是思维又不能充分理解自身（眼睛悖论），又将如何？
显然，思维需要映射为一种外在化形式以便反思，相当于把思维看作是一个系统，并且将其映射为另一个等价的系统。与此最为接近的努力是哥德尔的天才工作。尽管哥德尔没有反思人类思维整体，只是反思了数学系统，但所建构的反思性却有异曲同工之妙。一个足够丰富的数学系统中的合法命题无穷多，对包含无穷多命题的系统的元性质进行反思，无疑是一项惊人的工作。由此可以联想，此种反思方式是否能够应用于对人类思维整体的反思？但人类思维整体的复杂性否认了这种可能性，因为，在大多数情况下，人的思维不是纯粹理性的，为了如实理解人类思维，就不得不把所有非理性的“错误”考虑在内，这意味着，人类思维实际上是无法无天的，不可能还原为一个能够以数学或逻辑方式去解释的系统。简单地说，如果省略了逻辑或数学不能表达的“错误”思想，人类思维就消散了。
在这里，所谓“错误”是根据理性标准而言的异常观念，所有非理性观念都被归类为“错误”，包括欲望、信念、执念、偏见、癖好、不正常心理、无意识、潜意识，如此等等。这些“错误”所以必须被考虑在内，是因为它们经常是行为的决定性因素，绝非可以排除或省略的思维成分。哥德尔的工作一方面启示了反思的可能性，另一方面也提示了反思人类整体思维之不可能性。即使在排除错误命题的数学系统内，也存在着不可证而为真的“哥德尔命题”，即并非有限步能行（feasible）可证的真命题，因而一个包含无穷多命题的系统（不知道是否真的无穷多，至少是足够多以至于好像无穷多），或者存在内在矛盾，或者不完备。
可以想象，比数学系统复杂得多的人类思维系统显然不仅存在大量内在矛盾，而且永远不可能是完备的。难以置信的事实是，包含非理性因素而显得“乱七八糟”的复杂思维却在人类实践中很有成就，比如说，人类的社会制度不可能按照数学推算出来。即使就理性化程度很高的科学而言，伟大的成就也不是单纯推理出来的，而是得力于创造性的发现。当代经济学也从另一个侧面说明了纯粹理性化的局限性，当代经济学只考虑能够数学化表达的那一部分经济事实，而漏掉了大量无法数学化的事实，因此对真实的经济问题缺乏解释力。
这里万万不可误会为对数学和逻辑的质疑。数学和逻辑无疑是人类思维最重要的方法论，如果没有数学和逻辑，就不存在人类思维，就仍然是动物。但同时也应该说，单凭数学和逻辑，人工智能无法超越机器（图灵机）的概念，不可能成为等价于人类思维或超越人类思维的新主体而实现“创世纪”的物种超越（人工智能的发展不属于进化论，而属于创世论）。只是说，人类思维具有如此惊人的创造性能量，一定在数学和逻辑之外还有别的思维方式，只是尚不清楚是什么样的。哲学家喜欢将其称为“直观”“统觉”或“灵感”之类的神秘能力，但等于什么都没有说，代号而已。
博弈论是一种广谱的理性分析模型，通常证明了理性选择的优势，但也同时揭示了理性的局限性，比如在作为纳什均衡的“囚徒困境”中，理性必定选中其次坏的结果，而非理性的选择则以赌博方式获得最坏或最好结果。给定大多数人自私贪婪而见利忘义，那么，非理性选择获得最坏结果的概率必定远远大于最好结果。这一点似乎解释了为什么大多数政治、经济或战争“赌徒”都一败涂地，但也会有极少数获得奇迹般的胜利而成为传奇。可以推知，一个文明的理性化程度越高，人间就越趋于无故事，历史的奇迹就越少。人类需要奇迹吗？或者，人类不需要奇迹吗？再者，充分理性的超级人工智能需要奇迹吗？
纯粹理性在逻辑上蕴含着恐怖的结果。比如说，充分理性化的行为有助于达到交易成本的最小化（大于零），按照此种“经济学理性”，能够达到交易成本最小化的策略在有的情况下就是恐怖策略，如前所言，假如拥有能够兵不血刃的技术代差，强者达到交易成本最小化的策略就是消灭对手或者奴役对手，而不是通过讨价还价达成契约。康德早就发现，在纯粹理性之外必须有实践理性，即道德的理性，否则无以为人，就是说，人的理性必须有道德负担，否则没有好生活。但这种理想的隐秘前提是“人人都是弱者”的运气，我们已经讨论过这一点。
这使人想到一个冒汗的问题：一旦达到具有主体性的人工智能，即ARI，会需要或喜欢有道德负担的实践理性吗？它有这个必要吗？当然，我们无法预料ARI的选择方式，不懂属于ARI文明的博弈论。且以“将心比心”的方式来猜想，将有两个可能结果，都令人失望：
其一，如果ARI只有纯粹理性，没有道德理性，那么它将大概率地按照它的存在需要来决定人类的命运，也许会“赡养人类”而把人类变成白痴，也许会清除人类；
其二，假如ARI模仿人类的欲望、情感和价值观，那么它多半会歧视人类，因为ARI会观察到人类如此自私贪婪，言行不一地缺乏人类自己标榜的美德。不过，我们终究无法猜想ARI会有什么样的心灵，甚至还尚未理解人类自己的心灵。
心灵的概念比思维的概念大了许多。如何理解心灵一直是个难题，哲学有个专项研究称为“心灵哲学”，另外还有心理学和认知科学的助力，虽经时日，进展却不多。心灵具有黑箱性质，在心灵内部进行唯心主义的内省已经被证明没有意义，因为主观内省不可能确定自身的意义。心灵的意义需要外在确认，即语言和行为，这意味着，我们所能够知道的心灵是“说出来的”或“做出来的”，而既不能说又不能做的心灵也许在（is），但尚未存在（exists），而且还存在言行不一的问题。
维特根斯坦以“哲学语法”重构了语言和行为的关系问题。他证明了：
（1）能够想的就能够说，因为语言是思维形式，也是思想的界限。（2）能够用来想的语言必定具有公共性或可共度性。即使密码也具有共度性，所以能够破译，而唯独一个人自己能懂的一次性密码（所谓私人语言）不存在，因为人不可能理解没有任何确定性的意义，所以，在任何意义上不可沟通的自我不存在（这对于迷恋“独特自我”的人是一个致命打击）。（3）意义是通过范例（examples）而被确定的，没有范例就不足以明确意义。但如果一条规则的应用领域不是封闭的，那么这条规则就不是“死规则”，可以根据情况灵活应用，比如说，一个玩笑在有的情况下是讥讽，在另一种情况下却是表达亲密。“活规则”意味着，在已确定的范例之外，意义具有可延伸性，能够产生范例之外的新用法。（4）如果把语言理解为用语言代表的行为，即语言行为，那么，包含多种“语言游戏”的语言就映射所有行为，其复杂性等价于生活全部行为。所以，理解思维的秘密就在于理解语言的秘密。
如果维特根斯坦是对的，我们就获得了思维的一种可明确分析的对象化形式，同时意味着，语言学是人工智能研究的一个关键领域。如果能够完全解析人工智能的可能语言，或人工智能语言的可能性，就几乎理解了人工智能的潜在智能。这显然不是一件容易的事情，人类尚未完全理解自己语言的秘密，又如何能够完全发现人工智能的语言能力？这是一个未知数，有待人类解析能力的提高。
目前虽然无法全盘理解人类思维，也无法彻底理解人工智能的思维潜力，但或许有一个有助于发现智能差异的 “减法”，即以人类思维“减去”人工智能的思维，会有什么发现？这个问题等价于寻找人工智能的奇点在哪里。可以设想一个具体情形来理解这个问题：如果给人工智能输入人类的全部数学和物理学知识（相当于人工智能“学会”了全部数学和物理学），人工智能是否能够解决人类目前无解的数学难题或提出更先进的物理学理论？看起来不太可能。通过智能“减法”可以预见，无论算法能力多强的图灵机人工智能，都缺少人类特有的几种神秘能力：反思能力、主动探索能力和创造力。
这里讨论的反思能力属于狭义的反思。广义的反思包括了对事物的批评（criticism），即根据一些既定价值标准或真理标准对事物进行批评。广义的反思对于人工智能不是难事，人工智能可以从其现成的知识库里找到相应的批评标准来对事物做出评价和分析，但这只是为人类代劳。严格的反思是对思想自身系统的元性质（元结构或元定理）进行解析，类似于康德所谓的理性批判（critique），把思维自身当作对象来分析思维自身的能力，即以自相关的方式理解思维自身，通俗地说，就是对思维自身的能力进行“摸底”。
典型的反思有亚里士多德对逻辑的发现、休谟对因果观念的分析、康德对先验范畴的探索、罗素对数学基础以及悖论的分析、希尔伯特对系统公理化的研究、布鲁威尔对能行性的研究、胡塞尔对意识内在客观性的研究、哥德尔对数学系统完备性的研究、图灵对机器思维的研究，等等。只要能对自身进行自相关的研究，就标志着思维获得了自主性，就有可能对思维系统进行修改。AI尚未获得此种能力，因此还不可能成为ARI。
主动探索能力也是思维自主性的一个标志。除了足够发达的智力水平，主动探索能力还与生存压力有关。如果没有生存压力，就不会有主动探索的动机，也就不会发现新事物和发展新知识。汤因比的说法是，“适度挑战”是文明发展的关键条件（过度挑战就灭绝了，没有挑战则不需要探索）。AI没有生存压力，只是人类的最好帮手。即使达到ARI，具有与人类匹敌甚至优于人类的智力，如果缺乏生存动机，就不太可能主动探索，也就难以发动反思或创新，更不可能创造人工智能自己的文明。
目前人工智能的一些“创造性”表演比如创作绘画、音乐或诗歌，都不是真正的创作，只是基于输入的参数或数据的新联想和新组合。有趣的是，现代以来，人类对什么是创造性也产生了混乱的理解，往往将创造性等同于“新”甚至是一次性的新。可是“新”过于平常廉价，事实上每件事都是新的或不可完全重复的，每次的字迹都是新的，每个动作都是新的，每次经验都是新的，“人不可能两次踏入同一条河”。既然每件事都具有唯一性或独特性，所以都是新的。如果创造性等于新，就失去了价值。可见“人人都是艺术家”（博伊斯）是一个过于讨好时代的谎言。
神“创造”世界的神话早已点明了创造的根本含义：无中生有。人的能力有限，不能无中生有，所以只能创作，不可能创造，但其创造性相似，因此可以说，创造性在于改变力，在于能够改变世界或历史，改变生活或经验，改变思想或事物，或者说，创造性在于为存在增加一个变量。与智力不同，创造性无法测量，所以神秘。创造性很可能并不是思维诸种能力的其中一种，而是诸种能力的合作方式，因此在每一种可描述的思维能力中无法识别哪一种是创造力，就是说，创造性是思维的“系统总动员”。所以创造性思维往往在于对无限性、复杂性和自相关性的理解力，或者在于形成概念的能力，这两种思维具有类似于“创世”的效果，即为存在建立秩序。创造性思维正是人工智能所缺乏的，因为算法不能在涉及无限性或自相关的问题上另有发明，也不能建构新概念，也就不能为存在建立秩序。
人类的秩序与人工智能的秩序
最后可以讨论图灵测试的问题。可以想象，将来的人工智能不难获得人类的全部知识，甚至每件事情或每个人的全部信息，因此，人类的知识提问恐怕考不倒人工智能，就是说，人工智能虽然不能回答所有问题，但它的任何回答不会比人类差。在这种情况下，图灵测试就不足以判断一个对象是否是人工智能了，也许只好反过来以“学识过于渊博”来猜测谁是机器人。对此，图灵测试就需要升级为“哥德尔测试”，我无法给出新测试的标准，但人工智能应该能够证明其反思能力、主动探索能力或创造性，也许还应该具有自我关心的能力，比如说能够拒绝伤害自身的无理要求——这不是笑话，从目前的人机对话来看，人类的问题有时候相当无聊或不怀好意，将来也许会有人问人工智能为什么不去自杀，甚至要求人工智能实施自杀。不过，如果人工智能一旦成为ARI，有能力通过哥德尔测试，就成为世界的立法者，恐怕要轮到人类排队通过测试了。
我们不知道具有主体性的人工智能会想做什么，但我继续坚持认为，无论人工智能自发进化出什么样的意识，都不会像人的意识那样危险，而如果人工智能学会了人类的情感、欲望和价值观，就一定非常危险。这个判断基于这样的事实：
其一，人类并非善良生命，贪婪、自恋、好战又残酷，因此，人类的欲望、情感和价值观绝非好榜样，比如说，“个人优先”的个人主义价值观肯定不是人工智能的好榜样。
其二，人类意识并没有人类自诩的那么优越，人的意识仍然处于混乱状态，行为到底听从什么，无法确定，这是意识的老难题“排序问题”。首先是理性、情感、利益、信念何种优先，就难以排序。文学和电影最喜欢此类“情义两难”或“理智与情感”的冲突题材。其次，每个价值体系内部的优先排序也同样困难，自由、平等和公正如何排序，个人利益、家庭利益、国家利益如何排序，父母之情、子女之情、爱情、友情如何排序，都是历久常新的难题。价值排序之所以非常困难，以至于经常出现悖论性的两难，是因为根本就不存在价值排序的元规则，而且任何一种排序都有潜在危险，恐怕不存在绝对最优的排序。悖论或两难困境是人类意识一直解决不了的问题，假如让人工智能学会人类的情感、欲望和价值观，无非是让人工智能的意识陷于同样的混乱。
其三，任何欲望、情感和价值观本身就先验地蕴含歧视，如果人工智能习得欲望、情感和价值观，就等于学会了歧视，而它的歧视对象很可能是人类。如果没有情感、欲望和竞争，就不可能产生歧视，而无歧视就不存在价值。情感、欲望或竞争都指向选择的优先排序，而排序即歧视，所以说，如果无歧视，价值就不存在，换句话说，价值的存在论基础就是不平等，如果一切平等，价值就失去了立足的基础，其中道理就像是，如果每个数目都等于1，就不存在数量差异了（佛教早已讲明了这个逻辑：万事为空，意识见无，才能众生平等）。哲学宁愿相信存在某些具有“内在价值”的事物，即仅凭事物本身而无须比较就能证明是好的价值，这是绝对价值的最后希望，但也是一个未决疑问。我们希望有绝对价值，但不能寄以太高期望，即使有绝对价值，也因为太少而不足以解决人类难题。
总之，如果把人类情感、欲望和价值观赋予人工智能，那是人类无事生非的宠物情结，也是自找苦吃的冒险。假如未来具有主体性的人工智能成为世界秩序的主持者，如果它的意识只有纯粹智力内容，虽然缺乏“爱心”，反而可能比较安全。
针对他者的攻击性需要有欲望、情感和价值观作为依据，而无欲则无害，因此，相对安全的人工智能的意识只能限于由“实然”关系（to be）构成的思维，而一切“应然”（ought to be）观念都不宜输入给人工智能，就是说，相对安全的人工智能只知对错，不知好坏。人类自己都不知道什么是绝对的好坏，而实际语境中的所谓好坏，只不过意味着对于自己的好坏，所以，给人工智能输入价值观只不过复制了人类的所有冲突。
人类智慧在于能够为存在建立秩序，但人类智慧的局限性在于没有能力建立万事都好的秩序。历史表明（演化博弈论也有类似发现），人类社会不可能全都是好事，甚至，好事很难多于坏事，理性也没有经常胜过非理性，尤其是个人理性的加总难以形成集体理性，所以人类整体的命运总是悬念。人工智能的发展正是对人类智慧的一个终极测试。我有个悲观主义的预感：在人工智能成为统治者之前，人类就可能死于人工智能创造的一切好事。坏事总能引起斗争、反抗、改革甚至革命而得到拨乱反正。可是好事却麻痹心灵，而对其副作用缺乏修正能力，最终将积重难返而崩溃。这不知是不是最新版本的“存在还是毁灭”（to be or not to be）问题？
