参数调优

2024/4/11 18:48:09

GridSearchCV 工具介绍

目录 1、定义 2、工作流程 3、示例代码 4、总结 1、定义 GridSearchCV 是一个用于超参数调优的工具,它在给定的参数网格中执行交叉验证,以确定最佳的参数组合。通过穷举搜索(exhaustive search)来寻找最佳参数,即…

Spark性能优化实战总结

1、成本考虑 重要且紧急的,优先级高重要不紧急,等人力空闲再优化 2、优化方向 2.1、参数优化(优先) 2.1.1 读取相关 // 使用scan hive方式读取hive表时,调小maxsize,可增大读取的task任务数 spark.had…