Skip to content

Instantly share code, notes, and snippets.

@vinothchandar

vinothchandar/gist:45f4209cc01daaba99324de390a97406

Last active November 19, 2021 02:12
Show Gist options

  • Select an option

    Learn more about clone URLs
  • Save vinothchandar/45f4209cc01daaba99324de390a97406 to your computer and use it in GitHub Desktop.

Select an option

Learn more about clone URLs
Save vinothchandar/45f4209cc01daaba99324de390a97406 to your computer and use it in GitHub Desktop.
Download ZIP
hudi table config update/delete
Raw
gistfile1.txt
hudi:hoodie_benchmark->desc
╔═════════════════════════════════════════════════╤══════════════════════════════════════════════════════════════════════════════╗
║ Property │ Value ║
╠═════════════════════════════════════════════════╪══════════════════════════════════════════════════════════════════════════════╣
║ basePath │ file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ metaPath │ file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ fileSystem │ file ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.name │ hoodie_benchmark ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.recordkey.fields │ key ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.type │ MERGE_ON_READ ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.datasource.write.hive_style_partitioning │ false ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.precombine.field │ ts ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.partition.fields │ partition ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.populate.meta.fields │ true ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.archivelog.folder │ archived ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.base.file.format │ PARQUET ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.timeline.layout.version │ 1 ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.version │ 3 ║
╚═════════════════════════════════════════════════╧══════════════════════════════════════════════════════════════════════════════╝
hudi:hoodie_benchmark->table update-configs --props-file /Users/vs/Cache/hudi-test-data/hoodie.properties
263781 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Loading HoodieTableMetaClient from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/
263798 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableConfig - Loading table properties from file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie/hoodie.properties
263798 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Finished Loading Table of type MERGE_ON_READ(version=1, baseFileFormat=PARQUET) from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/
╔═════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╗
║ Property │ Old Value │ New Value ║
╠═════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╣
║ hoodie.archivelog.folder │ archived │ archived123 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.datasource.write.hive_style_partitioning │ false │ true ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.populate.meta.fields │ true │ true ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.base.file.format │ PARQUET │ PARQUET ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator │ org.apache.hudi.keygen.SimpleKeyGenerator ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.name │ hoodie_benchmark │ hoodie_benchmark ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.partition.fields │ partition │ partition ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.precombine.field │ ts │ ts ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.recordkey.fields │ key │ key ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.type │ MERGE_ON_READ │ MERGE_ON_READ ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.version │ 3 │ 3 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.timeline.layout.version │ 1 │ 1 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.x.y │ null │ z ║
╚═════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╝
hudi:hoodie_benchmark->table delete-configs --comma-separated-configs hoodie.x.y,hoodie.a.b
277540 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Loading HoodieTableMetaClient from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/
277554 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableConfig - Loading table properties from file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie/hoodie.properties
277555 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Finished Loading Table of type MERGE_ON_READ(version=1, baseFileFormat=PARQUET) from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/
╔═════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╗
║ Property │ Old Value │ New Value ║
╠═════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╣
║ hoodie.archivelog.folder │ archived123 │ archived123 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.datasource.write.hive_style_partitioning │ true │ true ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.populate.meta.fields │ true │ true ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.base.file.format │ PARQUET │ PARQUET ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator │ org.apache.hudi.keygen.SimpleKeyGenerator ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.name │ hoodie_benchmark │ hoodie_benchmark ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.partition.fields │ partition │ partition ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.precombine.field │ ts │ ts ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.recordkey.fields │ key │ key ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.type │ MERGE_ON_READ │ MERGE_ON_READ ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.version │ 3 │ 3 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.timeline.layout.version │ 1 │ 1 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.x.y │ z │ null ║
╚═════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╝
hudi:hoodie_benchmark->table delete-configs --comma-separated-configs hoodie.x.y,hoodie.a.b
310549 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Loading HoodieTableMetaClient from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/
310567 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableConfig - Loading table properties from file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie/hoodie.properties
310568 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Finished Loading Table of type MERGE_ON_READ(version=1, baseFileFormat=PARQUET) from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/
╔═════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╗
║ Property │ Old Value │ New Value ║
╠═════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╣
║ hoodie.archivelog.folder │ archived123 │ archived123 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.datasource.write.hive_style_partitioning │ true │ true ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.populate.meta.fields │ true │ true ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.base.file.format │ PARQUET │ PARQUET ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator │ org.apache.hudi.keygen.SimpleKeyGenerator ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.name │ hoodie_benchmark │ hoodie_benchmark ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.partition.fields │ partition │ partition ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.precombine.field │ ts │ ts ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.recordkey.fields │ key │ key ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.type │ MERGE_ON_READ │ MERGE_ON_READ ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.version │ 3 │ 3 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.timeline.layout.version │ 1 │ 1 ║
╚═════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╝
hudi:hoodie_benchmark->table update-configs --props-file /Users/vs/Cache/hudi-test-data/hoodie.properties.bkp
576087 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Loading HoodieTableMetaClient from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/
576099 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableConfig - Loading table properties from file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie/hoodie.properties
576100 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Finished Loading Table of type MERGE_ON_READ(version=1, baseFileFormat=PARQUET) from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/
╔═════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╗
║ Property │ Old Value │ New Value ║
╠═════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╣
║ hoodie.archivelog.folder │ archived123 │ archived ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.datasource.write.hive_style_partitioning │ true │ false ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.populate.meta.fields │ true │ true ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.base.file.format │ PARQUET │ PARQUET ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator │ org.apache.hudi.keygen.SimpleKeyGenerator ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.name │ hoodie_benchmark │ hoodie_benchmark ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.partition.fields │ partition │ partition ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.precombine.field │ ts │ ts ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.recordkey.fields │ key │ key ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.type │ MERGE_ON_READ │ MERGE_ON_READ ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.table.version │ 3 │ 3 ║
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢
║ hoodie.timeline.layout.version │ 1 │ 1 ║
╚═════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╝
hudi:hoodie_benchmark->desc
╔═════════════════════════════════════════════════╤══════════════════════════════════════════════════════════════════════════════╗
║ Property │ Value ║
╠═════════════════════════════════════════════════╪══════════════════════════════════════════════════════════════════════════════╣
║ basePath │ file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ metaPath │ file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ fileSystem │ file ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.name │ hoodie_benchmark ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.recordkey.fields │ key ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.type │ MERGE_ON_READ ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.datasource.write.hive_style_partitioning │ false ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.precombine.field │ ts ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.partition.fields │ partition ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.populate.meta.fields │ true ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.archivelog.folder │ archived ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.base.file.format │ PARQUET ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.timeline.layout.version │ 1 ║
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢
║ hoodie.table.version │ 3 ║
╚═════════════════════════════════════════════════╧══════════════════════════════════════════════════════════════════════════════╝
hudi:hoodie_benchmark->
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment