Databricks今天推出了AutoML Toolkit,这是一种自动化的端到端机器学习服务,旨在为具有丰富经验的开发人员提供服务。
AutoML Toolkit可从Databricks Labs获得,可自动执行超参数调整,批量预测和模型搜索等操作。AutoML Toolkit建立在现有的Databricks工具之上,如MLflow,这是一个开源机器学习平台,可与TensorFlow和Amazon SageMaker等框架集成。使用MLflow自动跟踪AutoML Toolkit执行。
该工具包还有实用程序Apache Spark,这是一个由Databricks创始人创建的开源项目,并于2014年交付给Apache Spark软件基金会。
AutoML Toolkit与其他AutoML解决方案的不同之处在于,它允许具有不同专业水平的数据科学家和工程师一起工作,ML项目管理部门负责人Clemens Mewald在电话采访中告诉VentureBeat。
Mewald之前曾在Google的TensorFlow和KubeFlow项目团队工作过。
“有时候有些人对低级代码非常熟悉,并希望完全访问,然后同一团队中的另一个人可能不太熟悉代码,或者对基于UI的解决方案感到满意。因此,我们在AutoML空间中提供的不同级别的解决方案解决了许多这些不同的需求和专业水平,“他说。“因为它们都在同一个技术堆栈上,所以你可以在它们之间移动,如果你选择的话。因此,您基本上可以从最高级别的抽象开始,而不是编写任何代码。然后,一旦你完成并且你需要更多的灵活性,你可以降低一级并获得更多你可能需要的旋钮和杠杆。“
某些形式的自动化机器学习以前可用于Apache Spark。
自动化机器学习模型的创建和部署的机器学习在2017年引入Google的AutoML后开始越来越受欢迎。从那时起,像Azure的机器学习服务这样的公共云领导者也引入了自动化机器学习的解决方案。
在先前建立的合作伙伴关系的基础上,Databricks的AutoML产品还与Azure机器学习集成。
最近几个月,Databricks推出了一系列改进以支持其AutoML产品。
随着6月份Databricks Runtime 5.4 ML的1.1发布,Databricks通过Hyperopt集成实现了自动超参数优化。4月,Databricks开源Delta Delta,这是一项创建支持可靠机器学习项目的数据湖的协作计划。
今年2月,Databricks通过Andreessen Horowitz,微软和NEA的资金为其数据和人工智能平台筹集了2.5亿美元。