steven35:
Estoy escribiendo un trabajo chispa que necesita ser ejecutable a nivel local, así como en Databricks.
El código tiene que ser ligeramente diferente en cada entorno (rutas de archivos), así que estoy tratando de encontrar una manera de detectar si el trabajo se está ejecutando en Databricks. La mejor manera que he encontrado hasta ahora era buscar un directorio "dbfs" en el directorio raíz y si está allí entonces asume que se está ejecutando en Databricks. Esto no se siente como la solución adecuada. ¿Alguien tiene una idea mejor?
pathikrit:
Simplemente puede comprobar la existencia de una variable de entorno, por ejemplo:
def isRunningInDatabricks(): Boolean =
sys.env.contains("DATABRICKS_RUNTIME_VERSION")