本文介绍了将python模块导入Databricks中的python脚本的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着跟版网的小编来一起学习吧！
问题描述
我正在Azure DataFactory中处理一个项目，并且我有一个运行Databricks python脚本的管道。这个特定的脚本位于Databricks文件系统中，由ADF管道运行，它从位于同一文件夹(两个脚本都位于dbfs:/FileStore/code中)的另一个Python脚本导入模块。
下面的代码可以将python模块导入Databricks笔记本，但在导入python脚本时不起作用。
sys.path.insert(0,'dbfs:/FileStore/code/')
import conn_config as Connect
在集群日志中，我得到： Import Error: No module named conn_config
我猜这个问题与python文件无法识别Databricks环境有关。有什么帮助吗？
推荐答案
我终于用电光完成了。创建电光会话后(如果您的集群集成了电光会话，则无需发起会话)：
spark.sparkContext.addPyFile("dbfs:/FileStore/code/conn_config.py")
import conn_config as C
此语法可以将python模块导入到从Azure DataFactory运行的python脚本。
这篇关于将python模块导入Databricks中的python脚本的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持跟版网！
本站部分内容来源互联网,如果有图片或者内容侵犯了您的权益，请联系我们，我们会在确认后第一时间进行删除！