deser array tree from a vortex array

Signed-off-by: Onur Satici <onur@spiraldb.com>

Author: onursatici

vortex-array/public-api.lock

@@ -19938,6 +19938,100 @@ pub fn S::search_sorted_by<F, N>(&self, F, N, vortex_array::search_sorted::Searc
 
 pub mod vortex_array::serde
 
+pub mod vortex_array::serde::columnar
+
+pub struct vortex_array::serde::columnar::ColumnarArrayTree
+
+pub vortex_array::serde::columnar::ColumnarArrayTree::buffers: vortex_array::arrays::StructArray
+
+pub vortex_array::serde::columnar::ColumnarArrayTree::nodes: vortex_array::arrays::StructArray
+
+impl vortex_array::serde::columnar::ColumnarArrayTree
+
+pub fn vortex_array::serde::columnar::ColumnarArrayTree::nnodes(&self) -> usize
+
+pub fn vortex_array::serde::columnar::ColumnarArrayTree::try_new(vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::VarBinViewArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::serde::columnar::StatsColumns, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray) -> vortex_error::VortexResult<Self>
+
+impl core::clone::Clone for vortex_array::serde::columnar::ColumnarArrayTree
+
+pub fn vortex_array::serde::columnar::ColumnarArrayTree::clone(&self) -> vortex_array::serde::columnar::ColumnarArrayTree
+
+impl core::fmt::Debug for vortex_array::serde::columnar::ColumnarArrayTree
+
+pub fn vortex_array::serde::columnar::ColumnarArrayTree::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+
+pub struct vortex_array::serde::columnar::ColumnarSerializedArray
+
+impl vortex_array::serde::columnar::ColumnarSerializedArray
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::child(&self, usize) -> vortex_array::serde::columnar::ColumnarSerializedArray
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::decode(&self, &vortex_array::dtype::DType, usize, &vortex_session::registry::ReadContext, &vortex_session::VortexSession) -> vortex_error::VortexResult<vortex_array::ArrayRef>
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::encoding_id(&self) -> u16
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::from_segment_and_tree(vortex_array::buffer::BufferHandle, alloc::sync::Arc<vortex_array::serde::columnar::ColumnarArrayTree>) -> vortex_error::VortexResult<Self>
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::metadata(&self) -> vortex_buffer::ByteBuffer
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::nbuffers(&self) -> usize
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::nchildren(&self) -> usize
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::new(alloc::sync::Arc<vortex_array::serde::columnar::ColumnarArrayTree>, alloc::sync::Arc<[vortex_array::buffer::BufferHandle]>) -> vortex_error::VortexResult<Self>
+
+impl core::clone::Clone for vortex_array::serde::columnar::ColumnarSerializedArray
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::clone(&self) -> vortex_array::serde::columnar::ColumnarSerializedArray
+
+impl core::fmt::Debug for vortex_array::serde::columnar::ColumnarSerializedArray
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+
+pub struct vortex_array::serde::columnar::StatsColumns(_)
+
+impl vortex_array::serde::columnar::StatsColumns
+
+pub fn vortex_array::serde::columnar::StatsColumns::as_struct(&self) -> &vortex_array::arrays::StructArray
+
+pub fn vortex_array::serde::columnar::StatsColumns::into_struct(self) -> vortex_array::arrays::StructArray
+
+pub fn vortex_array::serde::columnar::StatsColumns::new(vortex_array::arrays::StructArray) -> vortex_error::VortexResult<Self>
+
+pub fn vortex_array::serde::columnar::StatsColumns::nrows(&self) -> usize
+
+pub fn vortex_array::serde::columnar::StatsColumns::read(&self, usize, &vortex_array::dtype::DType, &mut vortex_array::ExecutionCtx, &vortex_session::VortexSession) -> vortex_error::VortexResult<core::option::Option<vortex_array::stats::StatsSet>>
+
+impl core::clone::Clone for vortex_array::serde::columnar::StatsColumns
+
+pub fn vortex_array::serde::columnar::StatsColumns::clone(&self) -> vortex_array::serde::columnar::StatsColumns
+
+impl core::fmt::Debug for vortex_array::serde::columnar::StatsColumns
+
+pub fn vortex_array::serde::columnar::StatsColumns::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+
+pub struct vortex_array::serde::columnar::StatsColumnsBuilder
+
+impl vortex_array::serde::columnar::StatsColumnsBuilder
+
+pub fn vortex_array::serde::columnar::StatsColumnsBuilder::finish(self) -> vortex_error::VortexResult<vortex_array::serde::columnar::StatsColumns>
+
+pub fn vortex_array::serde::columnar::StatsColumnsBuilder::push(&mut self, core::option::Option<&vortex_array::stats::StatsSet>)
+
+pub fn vortex_array::serde::columnar::StatsColumnsBuilder::with_capacity(usize) -> Self
+
+pub static vortex_array::serde::columnar::BUFFER_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>
+
+pub static vortex_array::serde::columnar::NODES_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>
+
+pub static vortex_array::serde::columnar::STATS_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>
+
+pub fn vortex_array::serde::columnar::compute_buffer_offsets(&[u16]) -> vortex_buffer::buffer::Buffer<u32>
+
+pub fn vortex_array::serde::columnar::compute_subtree_sizes(&[u8]) -> vortex_buffer::buffer::Buffer<u32>
+
+pub fn vortex_array::serde::columnar::serialize_to_columnar_tree(&vortex_array::ArrayRef, &vortex_array::ArrayContext, &vortex_session::VortexSession, &vortex_array::serde::SerializeOptions) -> vortex_error::VortexResult<(alloc::vec::Vec<vortex_buffer::ByteBuffer>, vortex_array::serde::columnar::ColumnarArrayTree)>
+
 pub struct vortex_array::serde::ArrayNodeFlatBuffer<'a>
 
 impl<'a> vortex_array::serde::ArrayNodeFlatBuffer<'a>
@@ -19946,6 +20040,54 @@ pub fn vortex_array::serde::ArrayNodeFlatBuffer<'a>::try_new(&'a vortex_array::A
 
 pub fn vortex_array::serde::ArrayNodeFlatBuffer<'a>::try_write_flatbuffer<'fb>(&self, &mut flatbuffers::builder::FlatBufferBuilder<'fb>) -> vortex_error::VortexResult<flatbuffers::primitives::WIPOffset<vortex_flatbuffers::array::ArrayNode<'fb>>>
 
+pub struct vortex_array::serde::ColumnarArrayTree
+
+pub vortex_array::serde::ColumnarArrayTree::buffers: vortex_array::arrays::StructArray
+
+pub vortex_array::serde::ColumnarArrayTree::nodes: vortex_array::arrays::StructArray
+
+impl vortex_array::serde::columnar::ColumnarArrayTree
+
+pub fn vortex_array::serde::columnar::ColumnarArrayTree::nnodes(&self) -> usize
+
+pub fn vortex_array::serde::columnar::ColumnarArrayTree::try_new(vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::VarBinViewArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::serde::columnar::StatsColumns, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray) -> vortex_error::VortexResult<Self>
+
+impl core::clone::Clone for vortex_array::serde::columnar::ColumnarArrayTree
+
+pub fn vortex_array::serde::columnar::ColumnarArrayTree::clone(&self) -> vortex_array::serde::columnar::ColumnarArrayTree
+
+impl core::fmt::Debug for vortex_array::serde::columnar::ColumnarArrayTree
+
+pub fn vortex_array::serde::columnar::ColumnarArrayTree::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+
+pub struct vortex_array::serde::ColumnarSerializedArray
+
+impl vortex_array::serde::columnar::ColumnarSerializedArray
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::child(&self, usize) -> vortex_array::serde::columnar::ColumnarSerializedArray
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::decode(&self, &vortex_array::dtype::DType, usize, &vortex_session::registry::ReadContext, &vortex_session::VortexSession) -> vortex_error::VortexResult<vortex_array::ArrayRef>
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::encoding_id(&self) -> u16
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::from_segment_and_tree(vortex_array::buffer::BufferHandle, alloc::sync::Arc<vortex_array::serde::columnar::ColumnarArrayTree>) -> vortex_error::VortexResult<Self>
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::metadata(&self) -> vortex_buffer::ByteBuffer
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::nbuffers(&self) -> usize
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::nchildren(&self) -> usize
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::new(alloc::sync::Arc<vortex_array::serde::columnar::ColumnarArrayTree>, alloc::sync::Arc<[vortex_array::buffer::BufferHandle]>) -> vortex_error::VortexResult<Self>
+
+impl core::clone::Clone for vortex_array::serde::columnar::ColumnarSerializedArray
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::clone(&self) -> vortex_array::serde::columnar::ColumnarSerializedArray
+
+impl core::fmt::Debug for vortex_array::serde::columnar::ColumnarSerializedArray
+
+pub fn vortex_array::serde::columnar::ColumnarSerializedArray::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+
 pub struct vortex_array::serde::SerializeOptions
 
 pub vortex_array::serde::SerializeOptions::include_padding: bool
@@ -20008,6 +20150,44 @@ impl core::fmt::Debug for vortex_array::serde::SerializedArray
 
 pub fn vortex_array::serde::SerializedArray::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result
 
+pub struct vortex_array::serde::StatsColumns(_)
+
+impl vortex_array::serde::columnar::StatsColumns
+
+pub fn vortex_array::serde::columnar::StatsColumns::as_struct(&self) -> &vortex_array::arrays::StructArray
+
+pub fn vortex_array::serde::columnar::StatsColumns::into_struct(self) -> vortex_array::arrays::StructArray
+
+pub fn vortex_array::serde::columnar::StatsColumns::new(vortex_array::arrays::StructArray) -> vortex_error::VortexResult<Self>
+
+pub fn vortex_array::serde::columnar::StatsColumns::nrows(&self) -> usize
+
+pub fn vortex_array::serde::columnar::StatsColumns::read(&self, usize, &vortex_array::dtype::DType, &mut vortex_array::ExecutionCtx, &vortex_session::VortexSession) -> vortex_error::VortexResult<core::option::Option<vortex_array::stats::StatsSet>>
+
+impl core::clone::Clone for vortex_array::serde::columnar::StatsColumns
+
+pub fn vortex_array::serde::columnar::StatsColumns::clone(&self) -> vortex_array::serde::columnar::StatsColumns
+
+impl core::fmt::Debug for vortex_array::serde::columnar::StatsColumns
+
+pub fn vortex_array::serde::columnar::StatsColumns::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result
+
+pub struct vortex_array::serde::StatsColumnsBuilder
+
+impl vortex_array::serde::columnar::StatsColumnsBuilder
+
+pub fn vortex_array::serde::columnar::StatsColumnsBuilder::finish(self) -> vortex_error::VortexResult<vortex_array::serde::columnar::StatsColumns>
+
+pub fn vortex_array::serde::columnar::StatsColumnsBuilder::push(&mut self, core::option::Option<&vortex_array::stats::StatsSet>)
+
+pub fn vortex_array::serde::columnar::StatsColumnsBuilder::with_capacity(usize) -> Self
+
+pub static vortex_array::serde::BUFFER_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>
+
+pub static vortex_array::serde::NODES_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>
+
+pub static vortex_array::serde::STATS_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>
+
 pub trait vortex_array::serde::ArrayChildren
 
 pub fn vortex_array::serde::ArrayChildren::get(&self, usize, &vortex_array::dtype::DType, usize) -> vortex_error::VortexResult<vortex_array::ArrayRef>
@@ -20024,6 +20204,12 @@ pub fn T::is_empty(&self) -> bool
 
 pub fn T::len(&self) -> usize
 
+pub fn vortex_array::serde::compute_buffer_offsets(&[u16]) -> vortex_buffer::buffer::Buffer<u32>
+
+pub fn vortex_array::serde::compute_subtree_sizes(&[u8]) -> vortex_buffer::buffer::Buffer<u32>
+
+pub fn vortex_array::serde::serialize_to_columnar_tree(&vortex_array::ArrayRef, &vortex_array::ArrayContext, &vortex_session::VortexSession, &vortex_array::serde::SerializeOptions) -> vortex_error::VortexResult<(alloc::vec::Vec<vortex_buffer::ByteBuffer>, vortex_array::serde::columnar::ColumnarArrayTree)>
+
 pub mod vortex_array::session
 
 pub struct vortex_array::session::ArraySession