Qual engenheiro de dados nunca se deparou com uma tabela criada via SQL, algum tempo depois, precisou recuperar o script de criação? No meu dia a dia, costumo utilizar o system.query.history do Databricks para recuperar esse tipo de informação:
SELECT statement_text, executed_by, statement_type, start_time
FROM system.query.history
WHERE statement_text LIKE '%schema.nome_da_tabela%'
ORDER BY start_time DESC;
Porém, ao consultar essa query hoje, 31/08, percebi uma mudança importante: os registros de statement_text que antes permitiam recuperar o script SQL agora aparecem como <REDACTED>. Pensei logo que era algo no nosso workspace, alguma implementação do time de segurança, entretanto a alteração faz parte de uma atualização implementada pelo Databricks em 26 de agosto, com o objetivo de proteger informações potencialmente confidenciais presentes nas instruções SQL.
Com a mudança:
statement_textem system.query.historyretorna <REDACTED>.
query_textna API de Histórico de Consultas e na API de Lista de Consultas retorna <REDACTED>.
As chaves request_paramsque system.access.auditcontêm definições SQL são omitidas.
O acesso ao texto completo das consultas agora fica restrito a administradores da conta e membros do grupo databricks_pii_access. Uma mudança importante para quem utiliza o histórico de consultas como ferramenta de troubleshooting, auditoria ou recuperação de scripts.
Já tinha se deparado com essa novidade do Databricks?