智能增强中的伦理与社会挑战
Linas Juozėnas分享
公平 · 新兴技术 · 负责任的创新
谁能从中受益?打造公平、安全且共享的创新
一项突破并不会仅仅因为在实验室中奏效或进入市场,就算完全成功。它的真正价值还取决于谁能使用它、谁的需求塑造了它、谁承担其风险,以及当它造成伤害时,人们能否质疑、拒绝或寻求补救。
- 有意义的获取机会
- 人权
- 相称的保障措施
- 公众参与
真正的问题不只是“我们能不能造出来?”
新兴技术可以拓展人类的可能性,也可能以更快的速度和更大的规模重现过去的排斥。负责任的创新需要追问:我们正在创造什么样的进步,为谁创造,以及由谁掌控。
人工智能可以翻译课程、辅助诊断,并让复杂工具更易于使用。基因和细胞疗法可以针对某些疾病的生物学原因,而这些疾病过去只能通过持续控制症状来治疗。神经技术可能帮助部分严重功能障碍患者恢复交流或行动能力。每一项发展都可能真正有价值,但未必人人都能获得,效果也未必对所有人相同,或在伦理上已经完善。
发明与公共利益之间的差距,正是许多伦理问题产生的地方。一项服务可能在技术上存在,却因为价格难以负担、缺乏无障碍设计、不提供使用者所用的语言,或依赖其社区没有的基础设施,而无法使用。一套系统的平均表现可能很好,却反复让较小的群体失望。一种治疗可能在临床上令人印象深刻,但需要专科中心、长期护理、出行和后续随访,使获得治疗的过程远比单看价格所显示的复杂。
这意味着消除不公正的障碍,审视利益与风险如何分配,满足不同需求,并保护每个人理解、选择、拒绝和寻求补救的能力。
2025年,国际电信联盟估计仍有22亿人处于离线状态,其中大多数生活在低收入和中等收入国家。1 连接已大幅扩展,但互联网用户数量这一表面数字并不能揭示连接质量、设备获取情况、可负担性、数字技能、无障碍程度,或当地是否提供有用的服务。医疗、教育和公共服务中也存在类似层面的问题。
突破奏效
研究人员证实,在明确限定的条件下,一种方法能够产生预期效果。
系统惠及人们
基础设施、机构、受过培训的工作人员和可持续的融资机制,使人们能够在试验之外使用它。
人们能够公平地受益
可获得性、结果、选择和问责应在不同人群中接受检验,而不能从平均值中想当然地推断。
可获得性是一条至少包含六个环节的链条
称某个产品“可获得”,可能掩盖它的存在与个人安全受益能力之间的实际距离。
只要任何一个关键环节失效,名义上的可获得性就可能几乎无法带来实际益处。一个免费学习平台,如果一个家庭只能共用一台不可靠的设备,就不能算真正可访问。如果诊断模型对某个子群体的表现很差,而临床医生又未得到警示,它就不公平。如果出行、生育力保存、请假或长期护理仍然无法实现,那么即使保险覆盖某种药物,高度先进的治疗也不会仅仅因为保险承保了该药物就能惠及患者。
平等与公平相关,但并不相同
平等通常意味着提供相同的资源或规则。公平则会考察不同的起点和需求是否会阻碍这种形式上的平等供给带来公平的机会。有时,最公平的设计是普惠性的:字幕、清晰的语言和安全的默认设置能帮助许多人。有时则需要额外支持:适配后的界面、出行援助、社区卫生工作者或离线途径。
一个系统可以改善平均结果,却让较小群体的结果变差。评估应报告纳入了哪些人、相关群体之间的表现有何差异,以及是否有人承受了新的或不成比例的负担。
不平等可能进入创新的每个阶段
偏见并不只是算法中的缺陷。它可能始于哪些问题获得资助,贯穿研究与设计过程,并在工具面对不平等的世界时再次显现。
-
问题选择
投资受到激励机制、政治优先事项和购买力的影响。即使影响市场话语权较小人群的需求社会成本很高,也可能仍未得到充分研究。
-
证据与数据
谁参与会影响研究人员能够了解到什么。缺失的群体、糟糕的测量、历史歧视,以及基于过去有缺陷的决策所制定的标签,都可能在模型训练或产品测试之前影响结果。
-
设计选择
语言、默认设置、设备要求、对感官能力的假设,以及对“正常”的定义,决定了谁能舒适地使用系统,以及谁的行为会被视为例外。
-
部署条件
在某一机构经过验证的工具,在人员配置、基础设施、文化、疾病流行率或激励机制不同的地方,表现可能不同。情境是性能的一部分。
-
结果与负担
衡量的不应只有准确率或采用率,还应包括等待时间、错误决策、隐私损失、无偿劳动、环境成本,以及无法选择退出所带来的后果。
-
反馈、修复与退出
最接近故障的人往往最先注意到问题。他们需要一个明确可见的报告渠道、及时的人工响应、记录更正,以及在调查问题期间可安全使用的替代方案。
多元化的发布团队或一次咨询并不能保证结果公平。参与必须影响决策,而且部署后还必须持续监测,因为用户、条件和技术都会发生变化。
相同的伦理原则在不同技术中呈现出不同样貌
人工智能、生物技术和神经技术不应被作为一个不加区分的类别来治理。干预的深度、可逆性、证据、受影响的权利以及错误的后果都很重要。
提供应用程序给每位学习者并不等于实现公平获取
人工智能可以提供翻译、示例、反馈和额外练习。然而,学习取决于课程质量、教师支持、设备可靠性、语言覆盖范围、无障碍性,以及学生是否仍在进行思考。用于招生、评分、纪律处分或学习者画像的系统,需要接受比可选的头脑风暴工具严格得多的审查。
- 为基本服务提供不依赖人工智能的途径。
- 让教育工作者对具有重大影响的判断负责。
- 测试无障碍性、错误分布不均和虚假掌握。
- 尽量减少收集儿童和学习者的数据。
效率不能抹去正当程序
自动化可以帮助处理案件或识别模式,但如果在医疗、就业、信贷、福利或公共安全方面作出错误决定,个人可能受到严重伤害。关键问题不是模型是否令人印象深刻,而是它在决策中的作用、所依据的证据和保障措施是否恰当。
- 当自动化系统实质性地影响决策时,应通知相关人员。
- 提供易于理解的理由和有实质意义的人类审核。
- 防止审核者只是批准机器的结果。
- 记录并调查错误和申诉的模式。
药物只是获取治疗的一部分
美国食品药品监督管理局于2023年12月批准了首个基于CRISPR/Cas9的镰状细胞病治疗,而不是2025年。5 它的问世是一个重要的科学里程碑,也说明获取治疗不能简化为价目表:治疗可能涉及专门中心、干细胞采集、强化预处理、长期照护、生育方面的考量以及长期随访。
- 将获益和负担与现有医疗服务进行比较。
- 在疾病负担最重的地区规划能力。
- 将旅行、时间、支持和后续随访纳入融资安排。
- 建立登记制度,并开展透明的长期安全监督。
敏感数据需要持久的责任
神经技术涵盖从非侵入性研究和消费设备到植入式医疗系统的多种形式。这些用途并不具有相同的风险。侵入性更强或影响更重大的系统会引发有关心理隐私、同意变更、网络安全、维修、软件支持、衍生数据所有权以及公司撤回产品时责任归属的问题。
- 将治疗证据与增强功能营销区分开来。
- 将同意视为持续过程,而非一次签署。
- 规划维护、更换和安全停用。
- 限制神经和行为数据的二次使用。
新兴技术的伦理指南针
伦理原则不会自动生成唯一答案。它们使重要价值变得清晰,揭示冲突,并帮助机构解释某项决定为何合理。
以人的身份对待每个人
不要把人简化为预测结果、评分、基因组、诊断结果或数据来源。技术应在人权框架内运行,而不是为了便利而重新定义人权。
让选择具有实质意义
同意需要可理解的信息、不受不当压力以及现实可行的替代方案。无法读懂的告知并不构成真正的控制。
检验整体影响
将承诺的益处与身体、心理、社会、经济和环境风险进行比较,包括错误或滥用造成的伤害。
审视分配情况
应考察具有相似需求的人是否得到一致对待,以及既有不利处境是否造成不平等的获取机会、暴露风险或结果。
少收集,更好地保护
有用的数据也可能很敏感。限制收集、访问、保留和再利用;在系统整个运行生命周期内保护系统。
确保责任主体明确
必须有人拥有调查、更正、赔偿、暂停或撤回某个系统的权限和责任。“算法决定的”并不等于问责。
从原则到治理
联合国教科文组织《关于人工智能伦理的建议书》将人权和尊严置于核心,并呼吁公平、包容以及人类监督。2 世界卫生组织关于健康领域人工智能和人类基因组编辑的工作,同样将科学机遇与安全性、有效性、伦理以及负责任的机构联系起来。4 这些框架之所以有价值,是因为它们涵盖技术的整个生命周期,而不是把伦理视为最后的审批环节。
某种做法在技术上可能合法,但仍可能具有剥削性、缺乏可及性、误导性,或没有足够证据支持。反之,不同司法管辖区可能以不同方式监管同一风险。组织仍须基于审慎判断承担责任。
负责任的进步采用与风险相称的保障措施
有益的选择很少是“创新还是伦理”。真正的任务,是根据潜在后果的严重程度,使证据、监督和可逆性相匹配。
拼写助手、课堂评分系统、人工智能诊断设备和植入式脑机接口不应经过完全相同的审查关卡。当系统难以逆转、影响基本权利、覆盖众多人群、在缺乏实质选择的情况下行动、使用高度敏感的数据,或可能造成严重伤害时,治理要求会更加严格。
| 情境 | 示例 | 最基本的问题 | 保障强度 |
|---|---|---|---|
| 低后果且可逆 | 可选的个人笔记重组工具。 | 数据是否受到保护?输出结果能否核查?用户能否轻松退出? | 清晰的信息、安全的默认设置和简单的纠错机制。 |
| 中等后果 | 推荐练习或内容的学习系统。 | 它是否适用于不同学习者?它会缩小机会差距或造成依赖吗? | 教育工作者监督、无障碍测试和持续的结果审查。 |
| 高后果 | 影响就业、教育机会、信贷、福利或临床护理的系统。 | 使用是否合法且必要?有哪些证据支持?个人能否有效申诉? | 独立评估、文档记录、经过培训的人类权威、审计以及可执行的救济措施。 |
| 身体或深度个人化的干预 | 基因疗法或植入式神经技术。 | 安全性和收益是否已得到充分证实?同意是否具有持续效力?谁来提供终身支持? | 临床与伦理审查、专业监管、长期监测和连续性规划。 |
分阶段设置准入门槛的创新
-
明确预期收益和不可接受的伤害
在开始建设前明确目标人群、应用场景、问题和边界。记录由谁参与了这些定义。
-
在扩大规模前检验假设
采用具有代表性的证据、真实条件,并与现有替代方案进行比较,而不仅仅是展示有利结果。
-
在仍存在不确定性的领域逐步部署
限制范围、密切监测并保护参与者。监管沙盒应是受控的学习环境,而不是免除权利保障或安全责任的保护伞。
-
保留回滚的可能性
明确暂停阈值、人工替代方案、数据更正、事件响应,以及暂停期间受影响人员的责任归属。
-
以证据为基础重新授权
审查表现、结果分布和新风险。不能仅仅因为系统已经为人熟悉,就自动获准继续使用。
欧盟《人工智能法案》体现了基于风险的方法:该法案于2024年生效,并分阶段适用;对于被禁止的做法、通用模型和某些高风险系统,规定了不同的义务。3 具体的法律义务取决于系统、角色、用途和当前实施时间表,因此组织应查阅官方文本并寻求合格的法律指导,而不应依赖简化的标签。
将包容性融入基础设施、研究和交付
公平获取不能仅靠最后提供折扣来弥补,而需要从最初的研究问题,到融资、部署和长期支持,始终进行协调一致的选择。
为有意义的连接而建设
覆盖只是起点。可靠的电力、可负担的服务、合适的设备、维护、安全的身份系统、数字技能以及离线或低带宽选项,决定了连接能否转化为能力。
将无障碍设计视为核心质量
采用公认的无障碍标准,让残障人士参与测试,并支持人们以多种方式感知、理解和操作服务。在排斥已经发生后再补做无障碍设计,通常更困难,也不够完整。
不应只本地化文字
翻译并不会自动带来文化或实践上的相关性。示例、假设、风险沟通、付款渠道和支持措施必须适应人们实际采取行动的环境。
分享决策权
当协商能够改变要求、预算、时间表或项目是否推进时,协商才具有意义。应对社区专业知识给予补偿,并报告意见如何改变了设计。
以负责任的方式改善代表性
招募应针对有充分理由的证据缺口,而不应将社区视为数据来源。除了样本多样性,还应重视知情同意、利益共享、治理以及有用研究结果的回馈。
为完整路径提供资金
应综合考虑价格、交付能力、劳动力、出行、护理支持、监测和机会成本。获得融资的产品如果没有可行的使用路径,仍然无法让人获得。
利用采购能力奖励负责任的设计
公共机构、医院、学校和大型雇主可以将无障碍、数据保护、互操作性、子群体表现、事件报告和退出支持纳入采购要求。合同可以要求供应商披露重大变更、协助数据迁移,并在约定期限内继续提供关键支持。
对于高成本疗法,融资试验可以将支付与结果挂钩,或协调不同支付方之间的谈判。美国自愿参与的 CMS 细胞与基因疗法可及性模式最初聚焦于镰状细胞病,是一个例子:参与的州和制造商采用由 CMS 协商的基于结果的协议,同时该模式也承认与治疗相关的实际支持需求。6 应将其作为一个持续运行的模式进行评估,而不能视为所有可及性问题都已解决的证明。
当合作关系能够发展当地的研究领导力、技术技能、维护能力、治理能力和决策权时,才会更加稳固。在缺乏适应、维修或质疑能力的情况下捐赠工具,可能造成一种新的脆弱性。
一份面向技术塑造者的实践路线图
责任是共同承担的,但不能分散到无人需要负责的程度。每个机构都有各自明确的施力点和职责。
| 利益相关方 | 开发或采购之前 | 部署期间 | 上线后 |
|---|---|---|---|
| 政府和监管机构 | 制定以权利为基础的规则,为被忽视的需求提供资金,评估基础设施,并要求与风险相称的证据。 | 开展检查、执行规定、发布指导,并保护独立研究、投诉和举报。 | 跟踪结果,堵塞漏洞,跨境协调,并提供有效的补救措施。 |
| 企业和投资者 | 明确预期用户和禁止用途;为无障碍、安全、支持和负责任退出编列预算。 | 记录局限性,监测错误的分布,并赋予产品团队暂停不安全工作的权力。 | 报告严重事件,纠正造成的伤害,维护关键产品,避免弃用依赖这些产品的用户。 |
| 研究人员和大学 | 选择具有社会意义的问题,改善代表性,并建立有意义的知情同意和治理机制。 | 维护研究诚信,登记适当的研究,并报告局限性和不利发现。 | 负责任地分享有用知识,支持复现,并考察发表之外的现实世界影响。 |
| 卫生和教育机构 | 将这项技术与现有实践进行比较,并纳入专业人员、患者、学习者和照护者的意见。 | 培训用户,保持人的责任,并提供易于获取的替代方案和申诉渠道。 | 衡量学习、健康和公平结果,而不只是使用情况;对于其负担无法得到正当解释的系统,应当停止使用。 |
| 社区和民间社会 | 明确需求、不可谈判的权利,以及在当地具有实际意义的受益定义。 | 观察实施情况,帮助公众理解,并识别隐性成本或被排除在外的群体。 | 通过投诉、公益研究、倡议和参与式审查,要求进行纠正。 |
如果受影响的人无法理解或利用其中的信息,仅仅发布一份冗长的技术文件是不够的。真正有用的透明度,应将清晰的解释与选择权、监督、纠正和问责联系起来。
简明公平影响审查
在提案阶段、上线前以及预定的审查节点使用这些问题。答案应有证据支持,并分配给明确的负责人。
扩大规模前的十二个问题
如果证据缺失,请记录不确定性,并决定如何解决。沉默并不意味着风险较低。
- 究竟要解决什么问题?是谁界定了这个问题?
- 预期哪些人会受益,有意义的收益应是什么样?
- 哪些人可能因成本、语言、残障、所在地、设备或机构规定而被排除在外?
- 哪些群体在证据中缺席,或所占比例过小?
- 收集、推断、保留、共享或重复使用了哪些数据?
- 人们能否在不放弃不必要隐私的情况下参与?
- 同意是否真正出于自愿、易于理解且可以撤回?
- 不同相关人群的错误和结果有何差异?
- 系统出错时,一个人会遭遇什么?
- 合格的人类能否审查并改变一项会产生重大后果的决策?
- 谁可以暂停、修复或撤回该系统,以及触发这些行动的阈值是什么?
- 谁来承担支持、纠正、过渡和长期义务的费用?
值得保留的证据
- 目的记录:预期用途、禁止用途、目标人群、替代方案和成功标准。
- 参与记录:参与者是谁、如何选出、如何获得报酬,以及哪些内容发生了变化。
- 证据记录:数据集、研究人群、测试条件、不确定性和已知局限。
- 影响记录:收益、错误、投诉、申诉、获取障碍,以及相关群体的结果。
- 决策记录:明确的负责人、风险接受、纠正措施、审查日期,以及继续或停止的理由。
文档并不会仅仅因为存在就有价值。它应帮助负责任的人理解系统、追溯决策、识别正在形成的模式,并在可避免的伤害扩散之前采取行动。
常见误解与实际问题
简单的口号会让伦理分歧看起来比实际更容易解决。这些区分为更好的决策留出了空间。
公平会拖慢创新吗?
周全的安全防护措施可能需要时间和资源,尤其是对于后果严重的系统。但这并不意味着它们与创新相悖。在大规模部署后才发现设计无法使用、性能不安全或公众不接受,代价可能高得多。适当的推进速度取决于风险的严重程度及其可逆性。
突破性技术会自然变得人人负担得起吗?
一些技术会因规模化、竞争和学习效应而变得更便宜。另一些技术则依赖稀缺材料、专业劳动力、复杂制造工艺、持续支持或强大的市场排他性。可负担性是技术、制度、融资和政策共同作用的结果,而不是一条自动生效的规律。
增加更多数据能解决算法偏见吗?
更具代表性、更高质量的数据可能有所帮助,但单纯增加数据量无法修复定义不当的目标、不公正的历史标签、缺失的语境、不适当的部署或有害的用途。必须审视完整的决策系统,包括制度和激励机制。
开源是否自动意味着公平?
开放代码或知识可以降低一些障碍,并促成检查或本地化调整。但人们仍可能缺乏使用它所需的计算资源、专业技能、合适的数据、支持或法律自由。开放性也可能让不安全的能力更容易传播。其影响取决于开放了什么、面向谁开放,以及配套有哪些保障措施。
透明度足以让一个系统合乎伦理吗?
不。一套系统即使有清晰的文档记录,也可能不安全、具有胁迫性或不公平。当透明度能够支持知情选择、独立评估、问责和补救时,它就很重要。透明度是实质性限制的补充,而不是替代。
每个人都应平等获得每一项增强措施吗?
并非每项拟议的增强措施都安全、有益或符合社会期望,医疗保健优先事项必须考虑需求、证据和机会成本。公平并不要求不加区别地分配。它要求公平的推理、免受歧视的保护、有意义的参与,以及在获取可能造成持久的权力或排斥形式时给予特别谨慎。
一种全球性的伦理框架能适用于每一种文化吗?
实施应尊重语言、语境和合理的文化差异,同时,基本权利应保护人们免受以习俗为由为胁迫或歧视开脱。全球原则与地方参与应相互影响,而不是迫使人们在二者之间作出选择。
当许多组织共同建造了这个系统时,谁应负责?
责任可以分散,但仍应明确。开发者、部署者、专业用户、采购方、高管和监管者可能承担不同的义务。合同和治理机制应明确谁负责监测、响应、纠正、赔偿,以及决定是否可以继续运行。
当更多人能够塑造进步时,进步会更大
一项技术的技术能力只是其成就的一部分。其余部分在于围绕它的制度和关系:研究是否反映真实需求,证据是否纳入将依赖它的人,获取是否切实可行,选择是否得到尊重,以及错误能否受到质疑并得到纠正。
伦理既不应装点创新,也不应冻结创新。它应帮助社会掌舵:让风险可见、设定边界、保护权力较弱者,并保留学习的空间。包容性能够改善这一过程,因为社区贡献的知识,可能是远方的设计者、投资者和监管者所不具备的。
目标不是构建一个人人使用相同技术的世界,而是让有价值的进步不会默认成为特权,让脆弱性不会被视为获得许可的理由,并让人们继续参与那些会改变其教育、健康、工作、身体与未来的决策。
它有效。它解决了有价值的问题。人们能够接触并使用它。它所带来的负担是合理的,并得到公平分配。受影响者仍保有尊严、选择权以及切实可行的纠正途径。
本文仅用于一般教育目的,不构成法律、医疗、监管、投资或政策建议。要求和证据会发生变化;对于重大决策,请查阅当前官方来源并咨询具备资质的专业人士。
证据视角与延伸阅读
此次重写以机构一手来源取代了原文中缺乏依据的统计数据,以及不存在或描述不准确的项目。
-
国际电信联盟——《2025年事实与数据》
关于互联网使用情况以及连接性、可负担性和质量方面持续存在差距的全球估计。 -
联合国教科文组织——《人工智能伦理建议书》
以人权、尊严、公平、包容、透明度和人类监督为核心的全球框架。 -
欧盟委员会——人工智能监管框架
欧盟《人工智能法案》的官方概览及当前分阶段实施时间表。 -
世界卫生组织——《人类基因组编辑:治理框架》
关于体细胞、生殖系及可遗传人类基因组编辑的价值观、原则、机构与治理工具。 -
美国食品药品监督管理局——首批获批用于治疗镰状细胞病的基因疗法
美国食品药品监督管理局于2023年12月发布的公告,包括首个采用CRISPR/Cas9技术并获FDA批准的治疗方法。 -
美国医疗保险与医疗补助服务中心——细胞与基因疗法获取模式
关于基于结果的协议以及支持获取镰状细胞基因疗法的当前模型详情。 -
世界卫生组织——《人工智能促进健康的伦理与治理》
将人工智能在健康领域的潜力与伦理、人权及公共问责联系起来的指导意见。 -
美国国家标准与技术研究院——人工智能风险管理框架
围绕人工智能风险的治理、梳理、衡量与管理制定的自愿性框架。