依法保障人民经济、政治、文化、社会、生态等权利,这是人的社会属性所决定的。
立法者还应当回顾过去,如果预期的效果没有实现,那么就需要额外的证成与调整。法律要尽量保持稳定,不能频繁修改。
(59)如果这个论证成立的话,那么在关注具体的正义理论、权利理论的同时,法理学家们不应当忽视政治理论化部分的独特意义,它构成了政治哲学以及法理学的独特议题。因此,作为法学研究的立法研究通常被视为公法学研究的一部分。其次要遵循基本权利(人权)原则,任何立法都要尊重和保障所有公民的基本权利和自由,服务于人民的福祉,它们不能为一些政策和目标而被随意牺牲。沈宗灵主编:《法理学》(第四版),北京大学出版社2014年版,第十三章。没有理由将法院视为分歧环境中最具代表性或最受尊重的机构,法院在处理公民政治分歧方面至少也不见得就比立法机关做得更好。
一方面立法者要正面证明立法干预是不得不然,是对其他调整手段的替代,另一方面也要证明所要采取的法律手段是最符合比例原则的,是对公民自由和权利最低程度的限制。这些也悉数反映到我们的立法评估或者法律效果评估之中,如果立法原则的体系化和理性化程度不足,那么立法评估也将缺乏充分的标准和指南。在此,住址与通勤时间等数据信息都是用人单位合法收集获取的,但当这些合法获取的数据信息与特定群体的行为建立起某种属性的关联时,便会对该群体带来意料之外的歧视性决策结果。
(3)对个人信息的收集使用设置限制性条件,以维护和保障用户个人权利。也即,算法歧视主要是嵌入了人类的认知与价值观后,由智能机器自动化决策后的产物,是一种自动化歧视(Automated Discrimination)〔3〕。2.算法黑箱与算法的非中立性引发算法歧视 整体来看,人们并不能充分了解算法内部的决策规则,数据和编程的内幕也无法做到公开透明,有关算法的运行机制、决策原则和决策依据也只有相关的程序设计人员才知晓,由此形成的算法黑箱便成为算法技术最大的不可控因素。对于不同领域、不同主体还会有不同的解释义务:(1)在公共决策领域要尽可能地向公众公开算法决策的参考权重,并作出合理解释,防止其利用算法辅助决策系统对特定公民造成侵害。
所不同的是,工程师的数据评估不会对被评估对象(桥梁)产生任何影响,而为测试违约概率的信用评估却会影响相应的测评对象(人),因为信用评分系统一旦将某人定为高风险用户并随即提高贷款利率,那么就会增加这个客户的违约概率〔11〕60。人性中自然而正常的本能使他们易于做出泛化、概念和分类,这些都是对经验世界的过度简化。
并根据外部环境的流动变化及时调整和更新算法运行规则,以尽可能地规避算法歧视。算法歧视是人类社会歧视在算法领域的转化,体现为归纳式的算法思维逻辑、算法黑箱与非中立性等算法技术设计所导致的算法歧视,更体现为算法运行中的决策性歧视,即由于冗余编码和信息茧房等数据动态交互所产生的算法歧视,以及因数据评估的导向性而引发的算法歧视。(三)决策性歧视——算法运行所产生的歧视 算法是一种基于统计学而建立起的具有描述性、学习性、动态性的随机性控制。这种非公开、不可测、保密化的分析程序很难得到相应的监督,因此,歧视问题便很容易隐藏其中,再加上人们对于机器算法决策的滥用与盲目自信,使得算法歧视持续性生成并进一步放大。
如2015年Google Photos就曾被曝出将黑人程序员Jacky Alcine标记为大猩猩,此即是算法根据人类社会现实中存在的歧视所进行的学习、演化与展示的典型样本之一。此外,美国曾在司法领域引入风险评估系统COMPAS和PSA来预测罪犯的再犯概率,并作为法官辅助量刑的依据,然而,2016年根据一家总部设在美国纽约市曼哈顿区的非盈利性的、主要为公众利益进行调查报道的新闻编辑部ProPublica的调查显示,COMPAS系统在对罪犯进行再犯评估时,被标注为高概率会再犯的群体(但实际未再犯)中,黑人比例高达45%,而白人比例只有23%,也即COMPAS系统对黑人所做的再犯评估率是白人的两倍,增加了黑人被处以严厉刑罚的可能性〔8〕。然而在这样的商业营销下,信息茧房编织的速度变得越来越快,人们也被不自觉地困在茧房之中,从而在获取信息时被算法所引导和左右。算法的运行过程是一个深度学习的过程,会在掌握数据属性、人类偏好等的基础上作出算法预测。
在这样的交易模式下,买卖双方的信息是极为不对称的,买方(消费者)实际是处于一种讨价还价能力上的实质不平等。它会不断地在动态数据的统计学习中作出决策选择,具有输出预测的功能。
算法决策之所以会产生歧视,一个重要原因即在于算法运行中的冗余编码,就是将本应受到保护的敏感性数据,与其他可合法获得的数据进行编码与关联性应用〔7〕。(2)算法设计人员的有限理性会产生算法歧视。
当自动化决策的算法输出歧视性结果或产生歧视性的危害后果时,是根本无法逆转的。事实上,算法并非明确知悉罪犯种族,而是通过训练数据集的其他属性数据(如居住地、职业等)推测并提取出了种族的特征值。简而言之,算法的底层逻辑是从现有的样例特征中提取、归纳、总结出可普遍适用的规则来指导实践〔5〕360。(3)算法设计人员的歧视性价值渗透形成算法歧视。这些原本基于事实数据训练出来的结果却使黑人遭受了不合理的区别对待。我国《互联网信息服务算法推荐管理规定》第31-33条,即分别对算法推荐服务提供者的法律责任作出了规定,包括警告、通报批评、责令限期改正、责令暂停信息更新、罚款、给予治安管理处罚,以及追究刑事责任等。
不论是算法的总体设计目的、数据运用,还是最后的结果呈现,其实都在以价值判断的形式体现着算法设计人员的认知层级与认知水准。经过人的训练和改进,算法实际亦遵循着该种思维逻辑和运行机理,通过对海量数据的整合、排序、分类、训练,将问题分解为同类子问题,建立若干数据集,予以标签化,再利用机器自身的深度学习能力,实现对新数据的归类与预测。
继而可以将某些具有利益倾向或其他歧视性倾向的价值观念通过技术中立的外衣而渗透进算法中,赋予算法进行区别对待与区别影响的权力。在现有技术条件下,无法使得算法在穷尽所有的数据信息并经过伦理价值判断后作出完全精准的归纳和预测,因此只能从建构数据信息的区别保护机制入手,来尽可能地保证数据输入时的平等和非歧视,从而确保算法归纳预测的客观公正。
问责机制是算法歧视的事后监管方案。那种通过干预算法所实现的个性化推荐实际上是赋予了算法决策系统区别对待的权力,而这种区别对待在算法运行中,形成了以差异化的不平等和特权为表现形式的算法歧视,严重侵犯了个人权益。
但实际上,算法有着与人类社会同构的特质,它并非是完全中立的,算法决策也并非完全可靠。算法是在计算机程序中由包含百万级的数据点与代码建立起来的决策模型,是通过对海量数据进行排序、分类并予以标签化,继而建立若干数据集才得以运行的。秉持平等、非歧视的行业技术标准或规则体系,将算法技术限定在平等、公正、安全又守秩序的数字人权界限内,从权利视角来规制算法技术利用上的不平等,推动实现算法决策的公平公正、安全可控,防止算法平台或算法设计人员为了商业利益而利用算法权力对个人数据进行用户画像,实施恶意歧视。因此,一旦其中的交易一方在讨价还价能力方面存在实质性的不平等时,便会对交易公平产生严重的威胁。
(2)对数据信息进行反歧视筛选与过滤,对敏感数据信息与一般数据信息进行区分和区别保护。1.数据动态交互中产生的算法歧视 第一,冗余编码导致的算法歧视。
〔4〕30这种类型化的、归纳式的人类认知,极易产生对某群体或事物的刻板印象,继而形成歧视。如按照是否具有普遍流动性的标准,将生物识别数据、遗传数据、个人犯罪记录等数据信息认定为敏感数据信息,从而将这些可能产生歧视性后果的敏感数据信息进行预先排除,并对关联属性的数据严格审查,以实现对数据信息的反歧视筛选与过滤,确保大数据所收集记录的数据信息都是负责任的非歧视的,尽可能地降低因概率性的归纳预测而导致的算法歧视。
建立起由科技理性(技术良序)和法律理性(法律良序)共同支撑的、人与人之间相互协作配合的,以追求社会成员的共同利益为社会主要目标的算法时代的良序社会〔12〕359。如用人单位拒绝录用通勤时间过长的员工,原因是其认为通勤时间过长会增大员工每日上班成本,并消耗员工每日工作精力,然而这对于居住在远郊的较低收入群体来说构成了歧视。
〔关键词〕算法歧视,数据信息,算法黑箱,冗余编码,算法解释 〔作者简介〕石 颖(1994- ),女,陕西西安人,西北政法大学法治学院2019级博士生、中共陕西省委党校(陕西行政学院)法学与社会治理教研部讲师,主要研究方向为法学理论。而少部分专门针对算法歧视的研究尚不够系统深入,有待于从人的层面、技术层面以及运行层面对其发生逻辑和法律规制进行深入剖析。算法在GIGO定律(Garbage In,Garbage Out),即偏见进,则偏见出(Bias In,Bias Out)的作用下发生异化,产生算法歧视。算法歧视是一种不合理的区别对待,是智能机器自动化决策的产物,以隐蔽性和不可逆性为表征。
二、算法歧视的发生逻辑 算法歧视作为算法技术的衍生品,使得算法的预测功能发生偏离,损害了人们平等和非歧视的基本权利。数字科技带给人们的这些最直观的挑战和问题,势必需要法律作出回应。
以强制性规定的方式来保障公民个人数据信息安全、规制算法歧视是大势所趋也是必经之路。并且这种非法目的与歧视性结果还得以掩盖在算法技术的合法外衣下而持续存在。
尤其是对于主观数据较为集中的算法模型,要注意比较算法预测的结果是否符合理性认知下的公平正义的标准,以保障算法模型设计始终处于公平性约束之下。企业利用特殊的算法来掌握消费者的消费记录、上网记录等,进而对消费者的偏好、习惯、支付能力等进行画像的绘制,通过个性化定价的尝试和验证,获取消费者的最大支付意愿信息,从而使得对不同消费者收取不同的价格成为可能〔10〕。