概述
欧盟推出了有关人工智能的新立法 --《欧盟人工智能法》（以下简称“该法案”），这为欧盟所有行业的人工智能监管和负责任的发展奠定了基础。该法案于 2024 年 7 月 13 日发布在《欧盟官方公报》上，并将于 2024 年 8 月 2 日生效。虽然这将是全球范围内首个生效的此类法案，但美国科罗拉多州似乎也不甘落后 -- 它是美国第一个在近期通过相关全面立法的州。
本文将介绍《欧盟人工智能法》的内容、它是如何对人工智能系统进行分类的、以及该法禁止哪些行为以及哪些行为被视为高风险。虽然该法案与许多行业相关，但本文将简要考虑该法案对医疗技术行业的一些具体影响，并将介绍该法案与科罗拉多州同等法案的比较。
《欧盟人工智能法》的内容是什么？
该法案如何对人工智能系统进行分类？
该法案根据风险而对人工智能进行分类：
- 不可接受的风险： 不可接受的风险（如操纵性人工智能和社交评分系统）会被禁止；
- 高风险： 该法案大部分内容涉及高风险人工智能系统，其将被监管；
- 有限风险： 该法案的一小部分涉及有限风险的人工智能系统，对其透明度要求较低（例如，开发者/部署者必须确保最终用户知道他们正在与人工智能互动）；以及
- 极小风险： 最低风险不受监管（包括视频游戏和垃圾邮件过滤器等各种人工智能应用）
哪些系统被禁止使用？
根据该法案（引自 https://artificialintelligenceact.eu/high-level-summary/），以下类型的人工智能系统是被禁止的：
- 利用潜意识、操纵性或欺骗性技术扭曲行为和损害知情决策，造成重大伤害。
- 利用与年龄、残疾或社会经济状况有关的弱点来扭曲行为，造成重大伤害。
- 推断敏感属性（种族、政治观点、工会会员身份、宗教或哲学信仰、性生活或性取向）的生物识别分类系统，但合法获取的生物识别数据集的标记或过滤或执法部门对生物识别数据进行分类的情况除外。
- 社会评分，即根据社会行为或个人特征对个人或群体进行评估或分类，从而对这些人造成不利或不利待遇。
- 仅根据特征分析或个性特征评估个人实施刑事犯罪的风险，除非是根据与 犯罪活动直接相关的客观的、可核实的事实来加强人工评估。
- 通过无针对性地从互联网或闭路电视录像中抓取面部图像，编制面部识别数据库。
- 在工作场所或教育机构推断情绪，除非是出于医疗或安全原因。
- 在公共场所为执法部门进行“实时”远程生物识别（RBI），但以下情况除外：
- 寻找失踪人员、绑架受害者和被贩卖或遭受性剥削的人；
- 防止对生命的重大和紧迫威胁，或可预见的恐怖袭击；或
- 确定严重犯罪（如谋杀、强奸、武装抢劫、麻醉品和非法武器贩运、有组织犯罪和环境犯罪等）的嫌疑人。
哪些系统被视为高风险系统？
如上所述，该法案的大部分内容涉及高风险人工智能系统。根据该法案，高风险系统指的是同时满足以下两个条件的系统：
- 用作安全部件或属于附件 I 所列的欧盟法律涵盖的产品（见下文）；以及
- 根据附件 I 的法律，而必须接受第三方合格评估；
其中附件 I 包括医疗器械、机械、休闲水上用具、电梯、玩具安全、潜在爆炸性气体环境设备、索道装置、个人防护设备、无线电设备、压力设备、燃烧气体燃料的设备、民用航空安全、机动车辆及其拖车、两轮或三轮车、农业和林业车辆、航海设备、铁路系统、飞机[1]。
该法案附件 III 用例（见下文）中，还列出了其他被视为高风险的系统，但以下情况除外：
- 系统执行的是狭义的程序任务；
- 其改进先前完成的人类活动的结果；
- 系统检测与决策模式有关的信息，且不经人工审查的话不会取代/影响人工评估；或
- 仅执行与附件 III 用例目的相关的评估的准备任务；
附件三的用例涉及：非禁止的生物识别；关键基础设施；教育和职业培训；就业、工人管理和自营职业；获得和享受基本的公共和私人服务；执法；移民、庇护和边境控制管理；以及司法和民主进程。
最后，任何对个人进行剖析的人工智能系统，即涉及自动处理个人数据以评估个人生活的任何方面（如工作表现、经济状况、健康、偏好、兴趣、可靠性、行为、位置或移动），也被视为高风险。
谁来负责确保合规？
大部分义务由高风险人工智能系统的提供者（开发者）承担，即那些打算在欧盟范围内销售高风险人工智能系统或将其投入使用的人。高风险人工智能系统的用户（部署者），即以专业身份部署人工智能系统的自然人/法人（即不是那些受影响的最终用户）也将承担一些义务。
该法案还详细规定了对任何通用人工智能 （ GPAI）模型和系统提供商的要求，尤其是在它们会带来系统性风险的情况下。
对高风险人工智能系统提供商有哪些要求？
高风险人工智能系统的提供商必须：
- 在人工智能系统的整个生命周期内建立风险管理系统；
- 准备技术文件以证明合规性，并向相关机构提供能够评估合规性的信息；
- 进行数据管理，确保数据集的培训、验证和测试具有相关性、足够代表性且无错误；
- 设计系统，从而：
- 保存记录，使系统自动记录可能与识别人工智能系统整个生命周期中的重大修改和国家级风险相关的事件；
- 允许部署者实施人为监督；以及
- 达到适当的准确性、稳健性和网络安全水平；
- 向下游部署者提供使用说明，使其能够遵守规定；以及
- 建立合适的质量管理系统 （QMS）以确保合规。
该法案将如何被实施？
已成立一个人工智能办公室来监督该法案的实施，该办公室下设五个部门：监管与合规、安全、人工智能创新与政策协调、机器人与人工智能造福社会、以及人工智能的卓越性。
相关的时间表是什么？
法案生效后，以下期限将会适用：
- 对于被禁止的人工智能系统而言：6个月；
- 对于GPAI而言：12个月；
- 对于附件 III 所列的高风险人工智能系统（如上所述）而言：24 个月；以及
- 对于附件I所列的高风险人工智能系统（如上所述）而言： 36 个月。
对违规行为有哪些处罚？
对不遵守该法案有关禁止系统规则的行为，最高可处以 3500 万欧元或全球年营业额 7% 的行政罚款（以金额较高者为准）。对违反其他各种规定的行为，最高可处以 1,500 万欧元或全球年营业额 3% 的罚款（以较高者为准）。对于中小型企业来说，上述数字是相同的，但相关的处罚金额是两个选项中更低的（而不是更高的）。
那么，这对医疗技术而言意味着什么？
如上所述，用于医疗设备的人工智能系统属于高风险类别。因此，对于已受《医疗器械管理条例》（MDR）或《体外诊断医疗器械管理条例》（IVDR）监管的人工智能医疗技术而言，遵守该法案的最后期限为 2027 年 8 月 2 日（即该法案生效后 36 个月）。
如上文所述，高风险人工智能系统的提供商必须建立质量管理体系以确保合规。因此，对于符合该法案要求的医疗器械制造商来说，除了作为 MDR 或 IVDR 的一部分而采取的现有措施外，他们还必须建立综合、一致的 QMS，将人工智能方面纳入其中。这是对高风险人工智能系统供应商的其他要求的补充，如上所述。
为了证明产品同时符合该法案和 MDR/IVDR 的要求，该法案确认只需要一个合并的 CE 标志和一个符合性声明，这样就可以在一个流程中处理两个法案的共同要素。然而，与医疗技术领域重叠的许多其他欧盟法规（如《通用数据保护法》、《数据法》、修订后的《产品责任指令》、《欧洲健康数据空间法规》（EHDS））给公司和制造商，尤其是资源有限的小公司带来了更多挑战，使他们难以驾驭所有要求。因此，尽管距离最后期限还有一段时间，我们仍敦促此类高风险人工智能系统的制造商尽快开始其合规之旅。
科罗拉多州新人工智能法案简介[3]
除欧盟外，科罗拉多州是美国第一个通过人工智能全面立法的州。科罗拉多州的人工智能法最近被公布，并计划于 2026 年 2 月 1 日生效。
虽然欧盟法案和科罗拉多州人工智能法案都采用基于风险的方法来监管人工智能，并侧重于对高风险人工智能系统的监管，但它们对这些系统的分类略有不同。欧盟法案在这方面涉及更广泛的分类，例如包括生物识别、司法和民主进程以及执法等类别。欧盟法案还对违禁系统、有限风险系统和某些 GPAI 系统进行了额外分类和监管。
在合规责任方面，虽然两部法案都规定了系统开发者和部署者的义务，但欧盟法案更强调对提供者（而非部署者）的要求。
执法处罚似乎也大相径庭，《欧盟法案》对违规行为的罚款力度似乎要大得多。看看其他地区会采取什么方法，将是一件有趣的事情。
更多信息
Annabel Williams 是 麦仕奇的英国和欧洲专利律师，专门从事物理学和工程学领域的工作，并对医疗技术感兴趣。Annabel 与 麦仕奇的杰出人工智能团队密切合作。如果您在这些（或任何其他）领域有任何创新，希望就潜在的知识产权（专利、商标、外观设计、版权）保护或问题进行讨论，请联系 Annabel 或 您在麦仕奇的联系人。
信息来源:
本文全文: https://artificialintelligenceact.eu/high-level-summary/
[1] https://artificialintelligenceact.eu/annex/1/
[2] ‘AI Act Is Officially Published: Implementation Challenges Ahead For Medtech’ Medtech Insight, 15 July 2024
[3] https://www.flastergreenberg.com/newsroom-articles-understanding-colorado-landmark-ai-legislation-impact-business.html#:~:text=Additionally%2C%20while%20the%20Colorado%20AI,diffe
