Блог

Я начал играть с потоковой передачей в моем издании сообщества Databricks, но после нескольких минут создания тестовых событий я столкнулся с некоторой проблемой. Я полагаю, что это каким-то образом связано с тем фактом, что некоторые временные небольшие файлы создаются в процессе потоковой передачи. Я хотел бы найти их и удалить, но не могу найти, где они хранятся. Мое исключение

 com.databricks.api.base.DatabricksServiceException: QUOTA_EXCEEDED: You have exceeded the maximum number of allowed files on Databricks Community Edition. To ensure free access, you are limited to 10000 files and 10 GB of storage in DBFS. Please use dbutils.fs to list and clean up files to restore service. You may have to wait a few minutes after cleaning up the files for the quota to be refreshed. (Files found: 11492);
  

И я попытался запустить некоторый скрипт оболочки, чтобы узнать количество файлов в каждой папке, но, к сожалению, я не могу найти подозрительные, в основном, lib , usr и другие папки, содержащие системные файлы или файлы python, не могу найти ничего, что могло бы быть создано моей потоковой передачей. Этот скрипт, который я использую

 find / -maxdepth 2 -mindepth 1 -type d | while read dir; do
  printf "%-25.25s : " "$dir"
  find "$dir" -type f | wc -l
done
  

Где я могу найти причину too many files проблемы? Может быть, это вообще не связано с потоковой передачей?

Чтобы было понятно, я загрузил не так много пользовательских файлов в /FileStore

Похоже, вы проверили только наличие файлов в локальной файловой системе, а не саму DBFS. Вы можете взглянуть на DBFS, запустив следующую ячейку в записной книжке Databricks:

 %sh
fs ls /
  

или:

 %python
dbutils.fs.ls("/")
  

Вы могли бы проверить наличие там файлов и удалить их с помощью dbutils.fs.rm или fs rm . Также взгляните на /tmp папку в DBFS и удалите все файлы там.