高风险护理管理计划可为慢性病患者提供训练有素的护理人员和初级护理监测，以防止出现严重的并发症。但该算法更有可能将这些项目推荐给白人患者，而不是黑人患者。
该项研究发现，这一算法使用医疗支出作为确定某人是否需要医疗服务的指标。但据《科学美国人》(ScientificAmerican)杂志报道，病情较重的黑人患者的医疗费用与更健康的白人的医疗费用相当，这意味着即使黑人患者的医疗需求更高，但他们的风险评分也会较低。
该项研究的研究人员表示，可能有几个因素在起作用。首先，有色人种更有可能收入较低，即使有保险，也可能使他们不太可能获得医疗服务。隐性偏见也可能导致有色人种接受到更低质量的医疗服务。
尽管该项研究没有提及这一算法或开发者的名字，但研究人员告诉《科学美国人》杂志，他们正在与开发者合作解决这一问题。
经数据集训练的微软聊天机器人发表种族主义推文
2016年3月，微软了解到，使用推特平台交流信息作为机器学习算法的训练数据可能会产生令人沮丧的结果。
微软在社交媒体平台上推出了一款人工智能聊天机器人，被称为Tay。微软公司将其称为一个“对话理解”的实验。他们的想法是，该聊天机器人将扮演一个十几岁的少女，结合使用机器学习和自然语言处理技术，可通过推特平台与他人进行交流。微软将一些匿名的公共数据和喜剧演员预先编写的材料植入该机器人中，然后让它通过社交网络上的交流来学习和发展。
在16小时内，该聊天机器人发布了95000多条推文，这些推文迅速呈现出公然的种族主义、厌恶女性和反犹太主义。微软迅速暂停了该服务以进行调整，并最终停止了这一服务。
“我们对Tay无意识发出的冒犯性和伤害性推文深表歉意，这些推文并不代表我们的身份或我们的立场，也不代表我们设计该机器人的方式。”在此事件发生后，微软研究与孵化部(时任微软医疗部门公司副总裁)公司副总裁PeterLee在微软官方博客上的一篇文章中写道。
李指出，微软公司于2014年在中国推出了Tay的前身微软小冰(Xiaoice)，在Tay推出前的两年内，微软小冰已成功与4000多万人进行了对话。令微软公司没有考虑到的是，一群推特用户会立即开始向Tay发出种族主义和厌恶女性的言论。该机器人迅速从这些材料中进行学习，然后将这些内容整合到自己的推文中。
“尽管我们已经为多种类型的系统滥用行为做好了准备，但我们还是对这一特定的冒犯行为犯了严重的疏忽。因此，Tay在推特上发布了这些非常不恰当和应受谴责的文字和图片。”Lee写道。
亚马逊公司的人工智能招聘工具只推荐男性
与许多大公司一样，亚马逊公司也渴望使用一些工具，能帮助其人力资源部门筛选一些职位申请，以找到最佳的应聘者。2014年，亚马逊公司开始开发人工智能招聘软件来解决这一问题。但只存在一个问题：该系统非常偏爱男性应聘者。2018年，路透社报道称，亚马逊公司终止了该项目。
亚马逊公司的系统会给应聘者打出从1到5的星级评分。但该系统核心的机器学习模型是基于提交给亚马逊公司的10年简历数据进行训练的——其中大部分是男性简历。由于是基于这些训练数据，因此，该系统便使那些包含“女性”一词的简历处于不利地位，甚至会使那些来自女子大学的应聘者获得更低的评分。
当时，亚马逊公司表示，亚马逊的招聘人员从未使用该工具来评估应聘者。
亚马逊公司曾试图修改该工具以使其保持公平，但最终认定公司无法保证这一工具不会学习到其他歧视性的候选人筛选方式，然后终止了该项目。
美国塔吉特公司(Target)的分析工作侵犯了隐私
2012年，零售巨头塔吉特公司的一个分析项目已显示出，企业可以从其数据中了解多少客户信息。据《纽约时报》报道，2002年，塔吉特公司的销售部门开始考虑如何判断某一顾客是否怀孕。这一想法导致启动了一个预测分析项目，该项目导致公司无意中向一名少女的家人透露了她怀孕的消息。反过来，这也导致各种文章和营销博客引用该事件作为一个建议，以避免发生这一“令人恐怖的情况”。
塔吉特公司的营销部门想要找出怀孕的顾客，因为在人生中的某些时期(尤其是怀孕时期)，人们极有可能彻底改变自己的购买习惯。如果塔吉特公司可以在这一时期接触到这些顾客，例如，可以培养这些客户的新购物行为，让他们来塔吉特公司购买杂货、服装或其他商品。
与所有其他大型零售商一样，塔吉特公司一直在通过购物者代码、信用卡、调查等方式收集顾客数据。它将这些数据与其购买的人口数据和第三方数据整合在一起。对所有这些数据进行处理后，塔吉特公司的分析团队能够确定，通过对公司售出的大约25种产品一起进行分析，可以生成一个“怀孕预测”分数。然后，营销部门可以针对高评分顾客提供优惠券和发送营销信息。
进一步的研究表明，研究顾客的生育状况可能会让其中一些顾客感到恐怖。据《纽约时报》报道，该公司并没有放弃自己的定向市场营销工作，但他们确实开始混入一些他们知道孕妇不会购买的商品的广告(包括在尿布广告旁边出现割草机广告
