商业自动化决策算法解释权的功能定位与实现路径

一、问题的提出：算法解释如何从技术方案转为法律制度?

算法的自动化决策广泛应用于公共领域与商业平台，深刻地影响着个体的多项权利。以商业领域的自动化决策为例，算法不仅决定了导航的路线、新闻的议程，更是深度嵌入信用评级、保险医疗、教育就业等领域。不仅如此，商业平台通过法律授权、后门、买卖与外包等方式，使得算法与数据在公私领域间流动。例如，芝麻信用这类的商业算法自动化决策结果延伸至申领护照、身份认证等公共服务场景。因此，商业自动化决策结果借由决策结果的共享对用户个人产生横跨公私领域的深远影响。

然而，由于数据来源的不透明、算法黑箱等因素，用户个体难以得知商业自动化决策的结果是如何得出的。近年来，各国的立法者与学界达成共识，即算法的自动化决策应当具备可解释性，用户有权知晓决策的原因。[1]自动化决策算法的可解释性被认为对建立算法问责制{1}、促进在人工智能中嵌入伦理{2}、保护隐私{3}和确定人工智能法律责任{4}方面具有重大的制度价值。

尽管如此，现有的算法解释的制度多针对公共部门算法，商业自动化决策的算法解释却存在诸多争议。如法国的秘书国家数字事务部部长表示：“如果政府不能解释其决定，政府就不应该使用算法。”[2]纽约市的算法监管法案，针对的也是政府使用算法做出行政行为的解释。[3]相比公共部门算法解释的理论支撑与司法实践，商业自动化决策算法的可解释性则面临着重重障碍：有的观点担忧算法解释权会损害商业秘密，有的观点认为赋予用户算法解释权会给平台增加巨大的负担。总的来说，现有的商业自动化决策的算法解释更多被认为是一种技术解决方案：通过披露平台的算法(甚至是源代码)来达到自动化决策可解释性的要求。即使如此，这种技术方案性质的算法解释路径的功能也依然存疑。[4]

如何将商业自动化决策的算法解释从一种技术方案转化为可行的法律制度呢?回答这一问题，本文首先需澄清技术意义上的算法解释与法律意义上的算法解释的功能区别，进而探讨私权

利性质的算法解释权在算法治理体系中的功能定位。实现这样的制度功能，则依靠对算法解释权的权利构造和权利内容进行大胆而细致的制度设计。与此同时，需兼顾效率与公平，探讨算法解释权的适用范围、解释标准与行使程序。

虽然公私领域均广泛应用自动化决策，但公权力运行规则与私权领域截然不同。本文将讨论局限于商业自动化决策，为了行文简洁下文均简称为自动化决策。

二、自动化决策算法解释作为技术方案的误区与澄清

自动化决策算法解释权面临的许多质疑都来源于将算法解释作为技术方案的误区。这样的质疑包括：一、认为而且由于机器学习技术的发展，算法的决策过程对于其开发者都是不透明的，因此也无法提供实质的自动化决策算法解释。{5}二、用户不能理解算法解释权提供的算法源代码，因此算法解释权制度没有价值。有学者指出，绝大多数用户都是“技术文盲”，即缺乏理解数据建立算法和机器学习模型的基础技术知识。因此，即使为用户提供了自动化决策的算法解释，也没有实质性帮助。这种将算法解释作为技术方案的观点，混淆了自动化决策算法作为技术方案的内部解释和作为法律路径的外部解释。持此观点者认为只有披露源代码才能获得解释，是将提高透明度和产生社会信任的“外部解释”误认为技术开发需要的“内部解释”。

自动化决策算法的内部解释和外部解释具有不同的制度功能。内部解释，是程序员或科学家做出的技术解释，具体指通过观察模型的输入和输出之间的关系，检查某部分的作用，而排除系统故障、增强系统可靠性并验证系统功能。{8}这与外部解释并不相同。外部解释指以精确的方式(忠实于自动化决策系统)和人类可理解的方式做出的自动化决策理由解释，用以建立公众对自动化

决策的信正任如，评验价证餐其厅遵的卫守生了标法准规并与不政需策要的知道要求。{8}1-10其菜单的配方，评价汽车的碰撞标准也不需要了解汽车的技术细节一样，通过外部解释获取自动化决策的算法解释，无须获知算法源代码的技术细节。

由于内外部解释的制度功能的不同，其解释对象、标准、内容也存在巨大差异。内部解释以内部技术人员为对象，标准是“可判断性”( interpretable){9}9,内容包括自动化决策系统如何运行，以实现技术故障诊断与修复的制度功能。而外部解释是以用户和监管部门为对象，标准是“可理解的”( comprehensible)，内容是使外部可知晓自动化决策是如何做出的，如此方可使没有技术背景的人得以追溯自动化决策。{10}117

基于内外部解释的区分，可得出结论：自动化决策算法解释权并不要求用户理解源代码即可实现制度功能。自动化决策算法的外部解释要么需要算法设计层面的价值取向、决策各要素权重，要么需要算法运行层面的运行机制解释，而这些功能性信息需要平台提供，但形式并非算法源代码。现实中的算法解释也未深入算法源代码的层面。例如，魏则西事件后，联合调查组要求百度采用以信誉度为主要权重的排名算法[5],其对算法的调查获得解释)和整改限于设计价值理念层面。又如2015年的任某诉百度名誉权案件中，法院调查获得的算法解释则限于运行机制层面。法院认定百度自动补足算法的搜索建议“即任某姓名系百度经过相关算法的处理后显示的客观存在网络空间的字符组合”，而这种外部解释已经足够判决得出“百度无主观过错”的结论。{11}因此，外部解释或限于算法设计层面的价值考量，或限于算法运行层面的结果追溯，这些功能性信息的解释不需要调取源代码，因此也无须担忧算法的解释会损害平台的商业秘密。

继而可能产生的疑问是，如果不进行源代码的检验，谁来验证平台提供的算法解释是否真实?首先，自动化决策的算法解释必须具有可验证性，即能够解释算法决策结果。这种外部的验证一般可通过输入相似的条件，观察是否得出相似的自动化决策结果来验证。例如平台对某用户的信用评分较低，当用户提出自动化决策的算法解释请求后，完全可以通过调取与该用户相似条件的用户评分数据对算法解释进行验证，而无须进入源代码的层次。其次，用户个人发起的自动化决策的算法解释权制度目的是救济用户个人。如果用户认为自动化决策的算法解释不具有可验证性，应有其他相应制度进一步救济。

自动化决策的算法解释权作为法律路径的功能是生产社会信任。自动化决策的算法解释权能够为用户个人提供决策相关的信息，其生产信任的功能既指向过去，更指向未来：一方面能够解释过去的决策回报用户基于用户协议投入的信任;另一方面提供解释增强未来用户个体对于自动化决策的信任。从自动化决策算法解释可回报用户过去投入的信任而言，用户意思自治下的“同意”必然包含着，用户有理由期望在发生危害和错误时，平台将以公正和负责任的态度做出回应，否则将无从基于信赖利益接受用户协议。这种合理要求并不因服务协议中没有提及或排除而消失。从算法解释可以作为未来的信任生产机制而言，自动化决策算法的不透明性使得民众对于自动化决策本身就缺乏信任，相继发生的算法歧视、算法共谋、大数据杀熟等事件更使得自动化决策的公正性广受社会的质疑。平台能够提供解释、解释具有可验证性等均可解除社会公众对于算法黑箱的质疑，提高自动化决策的透明度，促进决策公正。

综上所述，获得对自动化决策算法的解释，目的是追溯自动化决策结果的来源，考察自动化决策的价值考量，而非获得自动化决策的内部技术细节。既无须担忧用户无法理解算法自动化决策的解释，更无须因此否定自动化决策算法解释权的制度价值。因此，对算法解释的认识应及时从技术方案的误区中走出，将算法解释作为生产社会信任的法律制度，探讨其在算法治理体系中的功能与地位。

三、自动化决策算法解释权的制度功能定位：算法治理体系的私权安全网

自动化决策算法解释权是救济用户的私权利，它由用户个人向自动化决策的使用者(本文语境下的商业平台)请求发起。作为私权利性质的请求权，自动化决策算法解释权具有无法替代的救济作用，在算法治理体系中承担着保障用户个人权利的安全网的作用。

算法解释权制度作为一项法律制度，功能仍然受到一些质疑。有观点认为作为私权利的算法解释权行使成本过高，用户个人难以获得救济。商业自动化决策的设计者和使用者一般为大型互联网平台，与用户在技术、资源等方面力量相差极为悬殊。因此，以用户一己之力去请求平台提供自动化决策解释，需要付出极大的时间精力和金钱成本而收益较低。例如，淘宝的算法对用户的支付宝账户采取取消收款、资金止付等强制措施，用户推翻算法决策需要举证[6],导致用户很可能因成本原因放弃维权。诚然，私权利性质的算法解释权面临着权利行使成本较高的问题，但是其在算法治理的法律体系中起到无可替代的作用。

第一，算法治理体系中的各项制度中仅有私权利路径可由用户个人启动，代表了用户的立场。在现有的算法治理体系中，算法问责制、算法透明度规则、平台自律等相关机制均在实践中推进。然而，这些制度要么代表政府的立场，要么代表自动化决策使用者(平台)的立场。如算法问责制代表政府立场，政府要求自动化决策的使用者(平台)符合法律要求，承担违规的责任。又如，平台的平台自治规则代表平台立场，平台通过平台架构使得用户必须遵循平台规定的行为流程。自治规则以淘宝网的纠纷解决机制、腾讯微信公众号的抄袭举报规则为代表。在政府、平台和用户三方力量的对比中，用户处于极为弱势的地位：既没有政府公权力一样强大的力量抗衡平台，也没有技术力量做自动化决策算法的审查，甚至没有力量用脚投票离开平台。因此，私权利保护路径具有不可替代的作用。

第二，算法治理体系中，仅有算法解释权针对具体自动化决策的修正。在现有的用户个体可以行使的私权利清单中，仅有自动化决策的算法解释权针对具体的自动化决策，可以起到修正具体自动化决策的作用。例如，现有法律制度中，欧盟《通用数据保护条例》( GDPR)中的一系列提供给用户(数据主体)对抗平台(数据控制者)的私权利包括：质疑自动化决策结果[7],获得解释[8]不受纯粹的自动化决策并获得人为决策的权利。[9]在这些私权利的选择中，用户选择是全有或全无的“留下还是离开”：要么拒绝自动化决策的结果，要么选择重新获得一个决策。唯有自动化决策的算法解释权，给了用户修正一个具体决策的机会。在自动化决策无所不在的人工智能时代，这极为重要：全盘接受还是拒绝都意味着巨大的成本，只有修正还意味着在原有算法决策体系内保有位置并获得正确决策结果。因此，自动化决策的算法解释权的制度价值，即使在用户的私权利保护路径中，也是无可替代的。第三，即使算法解释权因行使成本高而极少被主张，也能宣告用户权利，彰显法律态度，起到算法治理体系中的安全网的作用。“安全网”一词常被用于描绘社会保障体系的作用，指当公民遭遇变故与不幸时，社会保障体系能够满足公民基本需求，缓解社会焦虑与不安。{12}如果算法治理体系中的一系列事前的风险防范制度、事中的正当程序以及事后问责制度都未能起到作用时，私权利性质的算法解释权，就成了保护用户个人权利、恢复社会信任的最后一道防线。因此，“安全网”一词形象地描述了自动化决策算法解释权在算法治理体系中的定位。算法解释权权利行使的成本可通过具体制度的设计而逐步降低，但不能以此作为其没有制度价值的理由。例如，为了实现产品质量安全，法律设计了多层次的制度体系：包括事前的行业准入制度、产品质量体系标准，事中的行政部门质量抽查检测，事后的刑事、行政责任以及产品侵权责任。显然，不能寄希望于以私权性质的产品侵权责任发挥最为重要的作用，但产品侵权责任作为私权救济路径有其必要的存在价值。

至此可以得出结论，作为私权利的自动化决策算法解释权在一个完整的算法治理法律体系中的地位是不可取代的。作为一项法律制度，算法解释权可以追溯决策来源、生产社会信任，更重要的是可以作为救济用户个人的最后一道防线。那么，如何对算法解释权的权利构造和内容进行设计能够实现这样的制度功能呢?

四、自动化决策算法解释权的双层结构与具体内容

制度功能的实现需要精心的制度设计。自动化决策算法解释权是典型的“信息纠正”手段，目的在于矫正自动化决策中双方严重信息不对称的地位，使信息从信息优势方向信息劣势方流动，而达到双方衡平。{13}那么，算法解释权应如何构造以提供充分的信息，能够实现救济用户的制度功能?第一，需要研究算法解释权的权利构造，即信息应以何种层次提供;第二，需阐明算法解释的具体内容，即信息以何种类型提供。

(一)包含知情与干预的双层结构

自动化决策的算法解释权必须以行为干预为导向，提供用户知情与行为干预两个层次的信息，是一个完整的、正当的权利构造。早在欧盟《通用数据保护条例》( GDPR)2016年颁布时，就有学者质疑算法解释权仅提供知情功能不提供救济功能。具体而言，认为 GDPR 支持数据主体获得有关自动化决策的逻辑的信息，仅仅是一种知情权，意义有限。{14}也就是说，如果用户获得的解释内容是系统通用的一般功能，那么所有人获得的解释内容都是一样的。而一个“有用”的解释必须是具有针对性的有意义的解释。{14}仅仅提供信息使用户知情，并无法发挥自动化决策算法解释权的救济功能。

何为自动化决策算法解释权应以对用户个人行为的干预作为导向?制度功能以干预为导向，意指自动化决策算法解释权的目的不仅在使用户知晓自动化决策结果是如何得到的，也要使用户知晓如何干预以改变未来的自动化决策结果。换句话说，自动化决策算法解释权提供给个人的信息不仅要包括为什么( why )，也要包括怎么办( how)。举例而言，如果用户没有通过银行的信用评估，一个以结果为目的的自动化决策解释的内容是“您没有资格是因为您没有及时支付最后三次租金支票”，一是以干预为导向的解释内容是“您没有资格是因为没有及时支付最后三次租金支票，您如果连续四次支付，分数将超过75%的用户”。{15} GDPR 提出的“解释权”( Right to Explanation)广为诟病是因为这仅仅是以“知情”作为结果目的的一种知情权，在 Recital 71条中强调的“公平透明的处理”意味着用户有权知晓数据如何收集、审核、处理数据，并采取措施防止歧视[10],但对用户具体行为的指导付诸阙如。

为何自动化决策算法解释权要以干预为导向?自动化决策算法在其适用的场景中具有一般规则的属性，如信用评分、简历筛选等自动化决策算法事实上决定了用户的财产、就业等权益。而具备正当性的规则应具有可预测性，即人们可以根据规定，事先估计到当事人双方将如何行为及行为的后果，从而对自己的行为做出合理的安排。[11]然而，自动化决策仍处在黑箱之中，用户事先不知自动化决策算法的权重因素，无从预测自己行为的后果，只能事后得知算法对自己的决策结果。为了弥补算法黑箱造成的正当性的缺陷，事后的自动化决策解释应该提供对用户行为的指引。换句话说，事后通过解释结果补足行为指引的信息，是算法作为一般行为规则的题中之义。如此自动化决策的算法才具有了作为一般行为规则的正当性。举例而言，《行政许可法》规定，行政机关首先应当公示行政许可的全部材料，行政相对人提交的材料中如果不全，行政机关应一次性告知其所需的其他材料。[12]这既包括事前的告知，也包括行政决策的结果，以及对相对人行为的指引。自动化决策在缺乏事前透明的情况下，如果其事后提供的解释不以行为干预为导向，相当于行政机关反复告知行政相对人准备的申请材料不全，而行政相对人又无从知晓如何补足申请材料。因此，自动化决策的解释应以行为干预为导向，是自动化决策算法应用正当性的必然要求。

以结果和干预为导向的自动化决策解释权有何不同?以结果为导向的解释权与以干预为目的的解释权有两项重大区别：第一，解释的内容和深度不同。以干预为导向的解释权意味着要深入了解自动化决策的内部运作机制，即要了解数据“输入”和结果“输出”的对应关系。如芝麻信用不仅要告知用户为何具体的芝麻信用评分较低，也要告知用户如何能够提高自己的芝麻信用评分，且这种告知要针对具体用户而非仅告知评分规则。第二，两种导向的解释提供给用户的后续选择不同。获得结果为导向的解释，用户的后续选择只能是接受或者退出自动化决策。而获得干预为导向的解释，赋予了用户一定更改自动化决策的能动性，用户仍可选择留在自动化决策中获得更好的结果。这也避免拒绝接受自动化决策结果的用户向平台申请调解或诉诸司法救济，有效节约了社会资源。

以干预为导向的自动化决策解释权应为何种权利构造?具体包括：其一，具体自动化决策结果的理由说明( why)，即解释具体决策考虑的主要因素以及各因素不同的权重。可能包括但不限于：具体决策的理由、原因、产生决策结果的个人数据，例如每种指标的功能权重，机器定义的特定案例决策规则，起参考辅助作用的信息等。{16}5188-5196其二，用户个人更正自动化决策结果的行为指引( how)，即应提供某个因素改变时，自动化决策可能发生的改变，指出决定性因素。例如，由于您最近两个月的银行贷款没有偿还，所以这次的信用卡申请被拒绝，如果您及时偿还贷款则可以获得贷款。行为指引的目的在于提供救济路径，告知用户可修正自动化决策的方法。最后，在某些情形下，还需要提供解释为何相似的情况可能有不同的决定，或不同的情况可能有相似的决定。{17}说明理由的欠缺，相当于没有理由，可能导致相应自动化决策的无效或被撤销。

(二)自动化决策算法解释的具体内容

那么自动化决策的算法解释权以干预为导向的救济功能如何实现呢?这需要对自动化决策算法解释的具体内容进行制度设计。现有自动化决策的算法解释对象究竟是自动化决策算法的权重设计，还是算法的运行方式，抑或算法决策采用的数据并不清晰。{18}633-705换句话说，当一个算法做出了错误决策，究竟需要得知的是设计问题、运行偏差，还是数据错误并无定论。因此，自动化决策算法解释制度应包含哪些具体内容呢?

一个自动化决策由算法和数据共同生成，因此解释应该囊括算法与数据的内容，具体包含两个层次。其中双层是指自动化决策的算法解释需包括理由说明与行为指引两个层次，具体又有不同的解释内容：

1.自动化决策算法解释的第一层次为理由说明层次，包含以下三项内容。

其一，解释自动化决策的算法。即需解释与具体决策相关的系统功能，例如自动化决策系统的逻辑、意义、算法设定的目的和一般功能，包括但不限于系统的需求规范、决策树、预定义模型、标准和分类结构等。

其二，解释决策使用的个人数据。此解释步骤可称为数据更新和救济步骤，可以排除错误的自动化决策是由数据偏差而产生的，决定是否有继续解释的必要。自动化决策的使用者应保证个人数据的准确性、完整性、不确定性以及时效性。例如，2017年美国二手房销售网站 Zillow 被一位房主起诉，认为其自动估价算法 Zestimates 严重低估自己的房产价值，给销售造成了严重障碍。{19}一个错误的自动化决策可能造成“污染效应”，错误的结果可以反复被其他平台用来进行其他自动化决策，对用户造成持续性损害。仅具有查明功能的算法解释仅能披露信息，而不能进行错误决策的修正实现救济。

其三，其他的决策理由。可能包括但不限于每种指标的功能权重，机器定义的特定案例决策规则，起参考辅助作用的信息等。在决策涉及相对人实体权利、程序权利及救济权利，涉及“最低限度的公正”时应就自动化决策系统的运行过程和做出行为的推理，给出理由说明。{20}

2.自动化决策算法解释的第二层次为行为指引层次，包括两项内容：其一，在自动化决策可以更改的指标中，用户可更改的行为种类和内容。其二，用户做出行为调整之后的结果。

值得强调的是，自动化决策的解释中必然包含了对于个人数据使用情况的解释。尽管如此，自动化决策的算法解释权与个人数据保护制度之间的关系既有重合又有显著的功能不同。二者重合之处在于，自动化决策的结果是由算法运算数据得出的，也就是说，数据的正确是自动化决策正确的必要条件。保护个人数据的准确性、完整性以及时效性(例如年龄信息会随着时间推移而变化)，是数据保护制度的功能之一。

二者功能的巨大差别在于自动化决策算法解释提供救济的针对性。这种针对性体现为：第一算法解释权针对某些特定用户个体数据。自动化决策的算法解释可以提供决策的理由，如果不利决策是错误的数据造成的，用户则可以更新错误数据(提供正确或删除错误数据)要求重新自动决策。第二算法解释权针对用户的特定自动化决策场景。个人数据的价值在于应用，对用户个人数据权利的救济应重点放在救济数据应用中受到的权利损害。{21}因为数据必须借由算法的逻辑与运算，才能形成潜在的价值或者风险。个人权利遭受损害的来源，不仅来自数据或算法，而是来自两者的汇合。[13]2014年美国总统科学与科技顾问委员会也提出应将政策“更多聚焦于数据的实际使用”上。{22}自动化决策的算法解释就是对个人数据应用造成不利结果进行救济的制度。

自动化决策的算法解释权偏重于用户个人数据在应用中受到损害后的救济，并具有个人数据保护制度无法取代的制度功能。自动化决策的算法解释权应以行为干预为导向，包含用户知情与行为指引双层结构的信息，并包括算法、数据与其他决策理由等具体内容，才能够实现算法解释权的救济功能。