在人类中，智力不能预防偏见和偏见。 计算机也是如此。 智能机器通过人类语言和历史行为的过滤器来了解世界-这意味着它们可以很容易地吸收人类最坏的价值观，就像它们最好的一样。 研究人员的目标是开发出更智能的机器，他们的工作是为了确保他们不会无意中给电脑灌输厌女、种族主义或其他形式的偏执。 ＂这是一个巨大的风险，＂Marzyeh Ghassemi说，他是多伦多大学计算机科学系和医学院的助理教授，专注于人工智能的医疗应用。 ＂如同跨越社会前进的所有进步一样，我们必须决定接受或不接受巨大的风险。 偏见可以在许多方面演变成算法。 在人工智能的一个非常有影响力的分支，称为＂自然语言处理＂，问题可能来自＂文本语料库＂-算法用来了解不同单词之间关系的源材料。 自然语言处理，或＂NLP＂，允许计算机理解人类风格的言语-非正式、会话和上下文。 NLP算法梳理了数十亿个单词的训练文本-语料库可能，例如，整个维基百科。 一种算法通过给每个单词分配一组数字来反映其含义的不同方面-例如＂国王＂和＂女王＂，与皇室的概念有相似的分数，但与性别相反的分数。 NLP是一个强大的系统，允许机器了解单词之间的关系-在某些情况下，没有直接的人类参与。 研究人员Kawin Ethayarajh说：＂虽然我们并不总是专门教他们，但他们学到的东西是难以置信的。＂ ＂＂但这也是个问题。 在语料库中，＂king＂和＂queen＂之间的关系可能类似于＂doctor＂和＂nurse＂之间的关系。 但当然，所有的国王都是人，并不是所有的医生都是人。 并不是所有的护士都是女性。 当一种算法吸收历史上人类态度的性别歧视倾向时，它会导致现实生活的后果，就像2014年亚马逊开发了一种算法来审查求职者的简历一样。 该公司使用10年的招聘决定来培训其机器。 但在2015年，他们承认，在测试中，该系统对男性申请人的简历给予了不劳而获的偏好。 他们对系统进行了调整，迫使它忽略性别信息，但最终在实际使用该项目之前关闭了该项目，因为他们不能确定他们的算法是否实施了其他形式的歧视。 减轻性别歧视来源材料可能涉及技术和方法调整。 Ethayarajh说：＂如果我们能够准确地理解导致这些偏见被学习的语料库的基本假设，我们可以选择没有这些偏见的语料库，或者在训练过程中纠正它。＂ 研究人员通常会设计一种自动修正偏见假设的算法。 通过调整它分配给每个单词的数字的权重，计算机可以避免产生性别歧视或种族主义协会。 但到底需要纠正的假设是什么？ 一个公正的人工智能真的是什么样子？ 关于特权、偏见、多样性和系统性偏见的争论远未解决。 雇佣算法应该对平权行动有立场吗？ 自动驾驶汽车是否应该特别注意另一辆车是否有＂婴儿上车＂标签？ 人工智能驱动的法律文件分析应如何影响土著人民的历史待遇？ 有争议的社会问题不会仅仅因为机器接管了某些建议或决定而消失。 许多人认为加拿大有缺陷但相对成功的多元文化模式是领导公平人工智能研究的机会。 计算机科学名誉教授、《计算机与社会：现代观点》一书的作者罗纳德·贝克说：＂加拿大确实有机会。＂ 他认为，政府可以发挥作用，纠正与人工智能有关的社会不平等、不公正和偏见，例如，为那些选择公开反对有偏见或不公平的人工智能驱动产品的雇员提供保护。 ＂对于我所说的高科技员工＂科学反对＂的概念，需要有更多的思考和立法。＂ 他还认为，应要求开发智能技术的计算机科学家研究这种工作的社会影响。 他说：＂在人工智能领域工作的专业人士必须认识到他们的责任。 ＂我们正在处理越来越重要的活动中使用人工智能的生死状况。 帮助法官设定保释和判刑罪犯的算法可以吸收法律制度中长期存在的偏见，例如将种族化的人视为更有可能犯下额外罪行。 这些算法可能会将某些社区的人视为风险太高，无法获得银行贷款。 他们也可能更擅长诊断皮肤癌的白人，而不是皮肤较深的人，因为他们已经接受了扭曲的来源材料的培训。 医疗保健的风险非常高，在这种情况下，不公平的算法可能会把过去服务不好的人推向更远的边缘。 在她在T的U和人工智能矢量研究所的工作中，Ghassemi和其他研究人员一样，努力识别她的算法中潜在的偏见和不公平。 她比较了她的诊断工具与现实世界结果的建议和预测，测量了它们对不同性别、种族、年龄和社会经济因素的准确性。 从理论上讲，加拿大为对反映公平、多样性和包容价值观的医疗保健应用感兴趣的研究人员提供了一个开端。 我们的通用医疗保健系统创建了一个电子健康记录库，提供了丰富的医疗数据，可用于培训人工智能驱动的应用程序。 这一潜力吸引了加塞米到多伦多。 但是，各省访问这些记录的技术、信息、格式和规则各不相同，使得创建能够推进研究的数据集变得复杂。 加塞米也惊讶地获悉，这些记录很少包括有关种族的数据。 这意味着，如果她使用一种算法来确定某一特定待遇对社会不同部门的服务有多好，她可以确定男女之间的差距，例如，但不能确定白人和种族化的人之间的差距。 因此，在她的教学和研究中，她使用公开的美国数据，其中包含关于种族的信息。 她说：＂审核我自己的模型（使用美国的数据），我可以显示什么东西对不同种族的人有更高的不准确度。＂ ＂我不能在加拿大做这个评估。 我没有办法查。＂ 加塞米对创造人工智能应用程序感兴趣，这些应用程序本身是公平的，也可以帮助人类抵消自己的偏见。 她说：＂如果我们能提供基于众多不同人群的工具，我们就会给医生一些帮助他们做出更好选择的东西。＂ 例如，妇女的心脏疾病诊断严重不足。 一个人工智能可能会给一个可能忽视它的医生带来这样的危险。 她说：＂这是一个技术解决方案可以帮助的地方，因为医生是人类，人类是有偏见的。＂ Ethayarajh同意Ghassemi和Baecker的观点，即加拿大有一个重要的机会，可以利用其在人工智能研究中的公平和偏见方面的优势。 Ethayarajh说：＂我认为这里的人工智能研究人员非常清楚这个问题。＂ ＂我想其中的一部分是，如果你环顾办公室，你会看到很多不同的面孔。 研究这些模型的人将是这些模型的最终用户。 更广泛地说，我认为有一个非常强烈的文化关注公平，这使得这是一个重要的领域，在这个国家的研究人员。＂