Aller au contenu principal

Lecture et write.orc fichiers

Apache ORC est un format de fichier en colonnes optimisé pour les charges de travail analytiques à grande échelle. Il utilise des index et des statistiques intégrés pour ignorer les données non pertinentes pendant les lectures. Databricks prend en charge ORC pour la lecture et l'écriture avec Apache Spark, y compris la spécification de schéma, le partitionnement et la compression d'écriture.

Prérequis

Databricks ne nécessite pas de configuration supplémentaire pour utiliser les fichiers ORC. Cependant, pour Stream les fichiers ORC, vous avez besoin d'Auto Loader.

Options

Utilisez les méthodes .option() et .options() de DataFrameReader et DataFrameWriter pour configurer des sources de données ORC. Pour une liste complète des options prises en charge, consultez DataFrameReader options ORC et DataFrameWriter options ORC.

Utilisation

Les exemples suivants utilisent le Wanderbricks sample dataset pour démontrer la lecture et l'écriture de fichiers ORC à l'aide de l'API Spark DataFrame et de SQL.

Lecture et write.orc fichiers

Python
Scala
SQL

Python
# Write wanderbricks reviews to ORC format
df = spark.read.table("samples.wanderbricks.reviews")
df.write.format("orc").save("/Volumes/<catalog>/<schema>/<volume>/reviews_orc")

# Read an ORC file into a DataFrame
df = spark.read.format("orc").load("/Volumes/<catalog>/<schema>/<volume>/reviews_orc")
display(df)

# Write with overwrite mode
df.write.format("orc").mode("overwrite").save("/Volumes/<catalog>/<schema>/<volume>/reviews_orc")

Scala
// Write wanderbricks reviews to ORC format
val reviews = spark.read.table("samples.wanderbricks.reviews")
reviews.write.format("orc").save("/Volumes/<catalog>/<schema>/<volume>/reviews_orc")

// Read an ORC file into a DataFrame
val df = spark.read.format("orc").load("/Volumes/<catalog>/<schema>/<volume>/reviews_orc")
df.show()

// Write with overwrite mode
df.write.format("orc").mode("overwrite").save("/Volumes/<catalog>/<schema>/<volume>/reviews_orc")

SQL
-- Write wanderbricks reviews to ORC format
CREATE TABLE reviews_orc
USING ORC
AS SELECT * FROM samples.wanderbricks.reviews;

SELECT * FROM reviews_orc;

Lire les fichiers ORC avec SQL

Utilisez read_files pour interroger des fichiers ORC directement depuis le stockage cloud en utilisant SQL sans créer de table.

SQL
SELECT * FROM read_files(
  '/Volumes/<catalog>/<schema>/<volume>/reviews_orc',
  format => 'orc'
)

Spécifiez un schéma

Spécifiez un schéma lors de la lecture des fichiers ORC afin d'éviter la surcharge de l'inférence de schéma. Par exemple, définissez un schéma avec les champs review_id, rating et comment et lisez reviews_orc dans un DataFrame.

Python
Scala
SQL

Python
from pyspark.sql.types import StructType, StructField, StringType, IntegerType

schema = StructType([
    StructField("review_id", StringType(), True),
    StructField("rating", IntegerType(), True),
    StructField("comment", StringType(), True)
])

df = spark.read.format("orc").schema(schema).load("/Volumes/<catalog>/<schema>/<volume>/reviews_orc")
df.printSchema()
df.show()

Scala
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType}

val schema = StructType(Array(
  StructField("review_id", StringType, nullable = true),
  StructField("rating", IntegerType, nullable = true),
  StructField("comment", StringType, nullable = true)
))

val df = spark.read.format("orc").schema(schema).load("/Volumes/<catalog>/<schema>/<volume>/reviews_orc")
df.printSchema()
df.show()

SQL
-- Create a table with an explicit schema from ORC files
CREATE TABLE reviews_orc (
  review_id STRING,
  rating INT,
  comment STRING
)
USING ORC
OPTIONS (path "/Volumes/<catalog>/<schema>/<volume>/reviews_orc");

SELECT * FROM reviews_orc;

Écriture de fichiers ORC partitionnés

Écrivez des fichiers ORC partitionnés pour des performances de query optimisées sur de grands datasets. Par exemple, lisez samples.wanderbricks.bookings et écrivez-le dans bookings_orc_partitioned partitionné par year et month dérivé de la colonne check_in.

Python
Scala
SQL

Python
from pyspark.sql.functions import year, month

df = spark.read.table("samples.wanderbricks.bookings")
df_with_parts = df.withColumn("year", year("check_in")).withColumn("month", month("check_in"))
df_with_parts.write.format("orc").partitionBy("year", "month").save("/Volumes/<catalog>/<schema>/<volume>/bookings_orc_partitioned")

Scala
import org.apache.spark.sql.functions.{year, month}

val bookings = spark.read.table("samples.wanderbricks.bookings")
val bookingsWithParts = bookings.withColumn("year", year(col("check_in"))).withColumn("month", month(col("check_in")))
bookingsWithParts.write.format("orc").partitionBy("year", "month").save("/Volumes/<catalog>/<schema>/<volume>/bookings_orc_partitioned")

SQL
-- Write partitioned ORC files by year and month
CREATE TABLE bookings_orc_partitioned
USING ORC
PARTITIONED BY (year, month)
AS SELECT *, year(check_in) AS year, month(check_in) AS month
FROM samples.wanderbricks.bookings;

Ressources supplémentaires

Qu'est-ce que Delta Lake dans Databricks ?: Si vous migrez d'un environnement Hive ou Hadoop utilisant ORC, Delta Lake est le format natif recommandé par Databricks. Il ajoute des Transactions ACID, l'application des schémas, le time travel et des performances de lecture optimisées en plus du stockage basé sur Parquet.
Lire et écrire des fichiers Parquet: Si votre charge de travail exige la plus large compatibilité d'écosystème en dehors de Databricks, Parquet est le format columnar le plus largement pris en charge par les moteurs de query et les outils de stockage cloud.

Sur cette page

Prérequis
Options
Utilisation
Ressources supplémentaires