Implement `VecReadWrapper` for `MaybeReadable`
[rust-lightning] / lightning / src / util / ser.rs
index 96936fe95416fd06a1061e323dbbe1952cb09c09..a7f69fcfcb583b13c47179e8cd9f8ad12f9d2573 100644 (file)
@@ -1,36 +1,49 @@
+// This file is Copyright its original authors, visible in version control
+// history.
+//
+// This file is licensed under the Apache License, Version 2.0 <LICENSE-APACHE
+// or http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
+// <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your option.
+// You may not use this file except in accordance with one or both of these
+// licenses.
+
 //! A very simple serialization framework which is used to serialize/deserialize messages as well
 //! as ChannelsManagers and ChannelMonitors.
 
-use std::result::Result;
-use std::io::{Read, Write};
-use std::collections::HashMap;
-use std::hash::Hash;
-use std::sync::Mutex;
-use std::cmp;
+use prelude::*;
+use io::{self, Read, Write};
+use io_extras::{copy, sink};
+use core::hash::Hash;
+use sync::Mutex;
+use core::cmp;
 
-use secp256k1::Signature;
-use secp256k1::key::{PublicKey, SecretKey};
+use bitcoin::secp256k1::Signature;
+use bitcoin::secp256k1::key::{PublicKey, SecretKey};
+use bitcoin::secp256k1::constants::{PUBLIC_KEY_SIZE, SECRET_KEY_SIZE, COMPACT_SIGNATURE_SIZE};
 use bitcoin::blockdata::script::Script;
 use bitcoin::blockdata::transaction::{OutPoint, Transaction, TxOut};
 use bitcoin::consensus;
 use bitcoin::consensus::Encodable;
-use bitcoin_hashes::sha256d::Hash as Sha256dHash;
-use std::marker::Sized;
+use bitcoin::hashes::sha256d::Hash as Sha256dHash;
+use bitcoin::hash_types::{Txid, BlockHash};
+use core::marker::Sized;
 use ln::msgs::DecodeError;
-use ln::channelmanager::{PaymentPreimage, PaymentHash};
-use util::byte_utils;
+use ln::{PaymentPreimage, PaymentHash, PaymentSecret};
 
-use util::byte_utils::{be64_to_array, be48_to_array, be32_to_array, be16_to_array, slice_to_be16, slice_to_be32, slice_to_be48, slice_to_be64};
+use util::byte_utils::{be48_to_array, slice_to_be48};
 
-const MAX_BUF_SIZE: usize = 64 * 1024;
+/// serialization buffer size
+pub const MAX_BUF_SIZE: usize = 64 * 1024;
 
 /// A trait that is similar to std::io::Write but has one extra function which can be used to size
 /// buffers being written into.
 /// An impl is provided for any type that also impls std::io::Write which simply ignores size
 /// hints.
+///
+/// (C-not exported) as we only export serialization to/from byte arrays instead
 pub trait Writer {
        /// Writes the given buf out. See std::io::Write::write_all for more
-       fn write_all(&mut self, buf: &[u8]) -> Result<(), ::std::io::Error>;
+       fn write_all(&mut self, buf: &[u8]) -> Result<(), io::Error>;
        /// Hints that data of the given size is about the be written. This may not always be called
        /// prior to data being written and may be safely ignored.
        fn size_hint(&mut self, size: usize);
@@ -38,8 +51,8 @@ pub trait Writer {
 
 impl<W: Write> Writer for W {
        #[inline]
-       fn write_all(&mut self, buf: &[u8]) -> Result<(), ::std::io::Error> {
-               <Self as ::std::io::Write>::write_all(self, buf)
+       fn write_all(&mut self, buf: &[u8]) -> Result<(), io::Error> {
+               <Self as io::Write>::write_all(self, buf)
        }
        #[inline]
        fn size_hint(&mut self, _size: usize) { }
@@ -47,24 +60,29 @@ impl<W: Write> Writer for W {
 
 pub(crate) struct WriterWriteAdaptor<'a, W: Writer + 'a>(pub &'a mut W);
 impl<'a, W: Writer + 'a> Write for WriterWriteAdaptor<'a, W> {
-       fn write_all(&mut self, buf: &[u8]) -> Result<(), ::std::io::Error> {
+       #[inline]
+       fn write_all(&mut self, buf: &[u8]) -> Result<(), io::Error> {
                self.0.write_all(buf)
        }
-       fn write(&mut self, buf: &[u8]) -> Result<usize, ::std::io::Error> {
+       #[inline]
+       fn write(&mut self, buf: &[u8]) -> Result<usize, io::Error> {
                self.0.write_all(buf)?;
                Ok(buf.len())
        }
-       fn flush(&mut self) -> Result<(), ::std::io::Error> {
+       #[inline]
+       fn flush(&mut self) -> Result<(), io::Error> {
                Ok(())
        }
 }
 
 pub(crate) struct VecWriter(pub Vec<u8>);
 impl Writer for VecWriter {
-       fn write_all(&mut self, buf: &[u8]) -> Result<(), ::std::io::Error> {
+       #[inline]
+       fn write_all(&mut self, buf: &[u8]) -> Result<(), io::Error> {
                self.0.extend_from_slice(buf);
                Ok(())
        }
+       #[inline]
        fn size_hint(&mut self, size: usize) {
                self.0.reserve_exact(size);
        }
@@ -75,7 +93,7 @@ impl Writer for VecWriter {
 pub(crate) struct LengthCalculatingWriter(pub usize);
 impl Writer for LengthCalculatingWriter {
        #[inline]
-       fn write_all(&mut self, buf: &[u8]) -> Result<(), ::std::io::Error> {
+       fn write_all(&mut self, buf: &[u8]) -> Result<(), io::Error> {
                self.0 += buf.len();
                Ok(())
        }
@@ -95,12 +113,14 @@ impl<R: Read> FixedLengthReader<R> {
                Self { read, bytes_read: 0, total_bytes }
        }
 
+       #[inline]
        pub fn bytes_remain(&mut self) -> bool {
                self.bytes_read != self.total_bytes
        }
 
+       #[inline]
        pub fn eat_remaining(&mut self) -> Result<(), DecodeError> {
-               ::std::io::copy(self, &mut ::std::io::sink()).unwrap();
+               copy(self, &mut sink()).unwrap();
                if self.bytes_read != self.total_bytes {
                        Err(DecodeError::ShortRead)
                } else {
@@ -109,7 +129,8 @@ impl<R: Read> FixedLengthReader<R> {
        }
 }
 impl<R: Read> Read for FixedLengthReader<R> {
-       fn read(&mut self, dest: &mut [u8]) -> Result<usize, ::std::io::Error> {
+       #[inline]
+       fn read(&mut self, dest: &mut [u8]) -> Result<usize, io::Error> {
                if self.total_bytes == self.bytes_read {
                        Ok(0)
                } else {
@@ -137,7 +158,8 @@ impl<R: Read> ReadTrackingReader<R> {
        }
 }
 impl<R: Read> Read for ReadTrackingReader<R> {
-       fn read(&mut self, dest: &mut [u8]) -> Result<usize, ::std::io::Error> {
+       #[inline]
+       fn read(&mut self, dest: &mut [u8]) -> Result<usize, io::Error> {
                match self.read.read(dest) {
                        Ok(0) => Ok(0),
                        Ok(len) => {
@@ -150,9 +172,11 @@ impl<R: Read> Read for ReadTrackingReader<R> {
 }
 
 /// A trait that various rust-lightning types implement allowing them to be written out to a Writer
+///
+/// (C-not exported) as we only export serialization to/from byte arrays instead
 pub trait Writeable {
        /// Writes self out to the given Writer
-       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), ::std::io::Error>;
+       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error>;
 
        /// Writes self out to a Vec<u8>
        fn encode(&self) -> Vec<u8> {
@@ -167,49 +191,114 @@ pub trait Writeable {
                0u16.write(&mut msg).unwrap();
                self.write(&mut msg).unwrap();
                let len = msg.0.len();
-               msg.0[..2].copy_from_slice(&byte_utils::be16_to_array(len as u16 - 2));
+               msg.0[..2].copy_from_slice(&(len as u16 - 2).to_be_bytes());
                msg.0
        }
+
+       /// Gets the length of this object after it has been serialized. This can be overridden to
+       /// optimize cases where we prepend an object with its length.
+       // Note that LLVM optimizes this away in most cases! Check that it isn't before you override!
+       #[inline]
+       fn serialized_length(&self) -> usize {
+               let mut len_calc = LengthCalculatingWriter(0);
+               self.write(&mut len_calc).expect("No in-memory data may fail to serialize");
+               len_calc.0
+       }
+}
+
+impl<'a, T: Writeable> Writeable for &'a T {
+       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> { (*self).write(writer) }
 }
 
 /// A trait that various rust-lightning types implement allowing them to be read in from a Read
-pub trait Readable<R>
-       where Self: Sized,
-             R: Read
+///
+/// (C-not exported) as we only export serialization to/from byte arrays instead
+pub trait Readable
+       where Self: Sized
 {
        /// Reads a Self in from the given Read
-       fn read(reader: &mut R) -> Result<Self, DecodeError>;
+       fn read<R: Read>(reader: &mut R) -> Result<Self, DecodeError>;
 }
 
 /// A trait that various higher-level rust-lightning types implement allowing them to be read in
 /// from a Read given some additional set of arguments which is required to deserialize.
-pub trait ReadableArgs<R, P>
-       where Self: Sized,
-             R: Read
+///
+/// (C-not exported) as we only export serialization to/from byte arrays instead
+pub trait ReadableArgs<P>
+       where Self: Sized
 {
        /// Reads a Self in from the given Read
-       fn read(reader: &mut R, params: P) -> Result<Self, DecodeError>;
+       fn read<R: Read>(reader: &mut R, params: P) -> Result<Self, DecodeError>;
 }
 
 /// A trait that various rust-lightning types implement allowing them to (maybe) be read in from a Read
-pub trait MaybeReadable<R>
-       where Self: Sized,
-             R: Read
+///
+/// (C-not exported) as we only export serialization to/from byte arrays instead
+pub trait MaybeReadable
+       where Self: Sized
 {
        /// Reads a Self in from the given Read
-       fn read(reader: &mut R) -> Result<Option<Self>, DecodeError>;
+       fn read<R: Read>(reader: &mut R) -> Result<Option<Self>, DecodeError>;
+}
+
+impl<T: Readable> MaybeReadable for T {
+       #[inline]
+       fn read<R: Read>(reader: &mut R) -> Result<Option<T>, DecodeError> {
+               Ok(Some(Readable::read(reader)?))
+       }
+}
+
+pub(crate) struct OptionDeserWrapper<T: Readable>(pub Option<T>);
+impl<T: Readable> Readable for OptionDeserWrapper<T> {
+       #[inline]
+       fn read<R: Read>(reader: &mut R) -> Result<Self, DecodeError> {
+               Ok(Self(Some(Readable::read(reader)?)))
+       }
+}
+
+/// Wrapper to write each element of a Vec with no length prefix
+pub(crate) struct VecWriteWrapper<'a, T: Writeable>(pub &'a Vec<T>);
+impl<'a, T: Writeable> Writeable for VecWriteWrapper<'a, T> {
+       #[inline]
+       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> {
+               for ref v in self.0.iter() {
+                       v.write(writer)?;
+               }
+               Ok(())
+       }
+}
+
+/// Wrapper to read elements from a given stream until it reaches the end of the stream.
+pub(crate) struct VecReadWrapper<T>(pub Vec<T>);
+impl<T: MaybeReadable> Readable for VecReadWrapper<T> {
+       #[inline]
+       fn read<R: Read>(mut reader: &mut R) -> Result<Self, DecodeError> {
+               let mut values = Vec::new();
+               loop {
+                       let mut track_read = ReadTrackingReader::new(&mut reader);
+                       match MaybeReadable::read(&mut track_read) {
+                               Ok(Some(v)) => { values.push(v); },
+                               Ok(None) => { },
+                               // If we failed to read any bytes at all, we reached the end of our TLV
+                               // stream and have simply exhausted all entries.
+                               Err(ref e) if e == &DecodeError::ShortRead && !track_read.have_read => break,
+                               Err(e) => return Err(e),
+                       }
+               }
+               Ok(Self(values))
+       }
 }
 
 pub(crate) struct U48(pub u64);
 impl Writeable for U48 {
        #[inline]
-       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> {
                writer.write_all(&be48_to_array(self.0))
        }
 }
-impl<R: Read> Readable<R> for U48 {
+impl Readable for U48 {
        #[inline]
-       fn read(reader: &mut R) -> Result<U48, DecodeError> {
+       fn read<R: Read>(reader: &mut R) -> Result<U48, DecodeError> {
                let mut buf = [0; 6];
                reader.read_exact(&mut buf)?;
                Ok(U48(slice_to_be48(&buf)))
@@ -226,7 +315,7 @@ impl<R: Read> Readable<R> for U48 {
 pub(crate) struct BigSize(pub u64);
 impl Writeable for BigSize {
        #[inline]
-       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> {
                match self.0 {
                        0...0xFC => {
                                (self.0 as u8).write(writer)
@@ -246,9 +335,9 @@ impl Writeable for BigSize {
                }
        }
 }
-impl<R: Read> Readable<R> for BigSize {
+impl Readable for BigSize {
        #[inline]
-       fn read(reader: &mut R) -> Result<BigSize, DecodeError> {
+       fn read<R: Read>(reader: &mut R) -> Result<BigSize, DecodeError> {
                let n: u8 = Readable::read(reader)?;
                match n {
                        0xFF => {
@@ -287,31 +376,31 @@ impl<R: Read> Readable<R> for BigSize {
 pub(crate) struct HighZeroBytesDroppedVarInt<T>(pub T);
 
 macro_rules! impl_writeable_primitive {
-       ($val_type:ty, $meth_write:ident, $len: expr, $meth_read:ident) => {
+       ($val_type:ty, $len: expr) => {
                impl Writeable for $val_type {
                        #[inline]
-                       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), ::std::io::Error> {
-                               writer.write_all(&$meth_write(*self))
+                       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> {
+                               writer.write_all(&self.to_be_bytes())
                        }
                }
                impl Writeable for HighZeroBytesDroppedVarInt<$val_type> {
                        #[inline]
-                       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), ::std::io::Error> {
+                       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> {
                                // Skip any full leading 0 bytes when writing (in BE):
-                               writer.write_all(&$meth_write(self.0)[(self.0.leading_zeros()/8) as usize..$len])
+                               writer.write_all(&self.0.to_be_bytes()[(self.0.leading_zeros()/8) as usize..$len])
                        }
                }
-               impl<R: Read> Readable<R> for $val_type {
+               impl Readable for $val_type {
                        #[inline]
-                       fn read(reader: &mut R) -> Result<$val_type, DecodeError> {
+                       fn read<R: Read>(reader: &mut R) -> Result<$val_type, DecodeError> {
                                let mut buf = [0; $len];
                                reader.read_exact(&mut buf)?;
-                               Ok($meth_read(&buf))
+                               Ok(<$val_type>::from_be_bytes(buf))
                        }
                }
-               impl<R: Read> Readable<R> for HighZeroBytesDroppedVarInt<$val_type> {
+               impl Readable for HighZeroBytesDroppedVarInt<$val_type> {
                        #[inline]
-                       fn read(reader: &mut R) -> Result<HighZeroBytesDroppedVarInt<$val_type>, DecodeError> {
+                       fn read<R: Read>(reader: &mut R) -> Result<HighZeroBytesDroppedVarInt<$val_type>, DecodeError> {
                                // We need to accept short reads (read_len == 0) as "EOF" and handle them as simply
                                // the high bytes being dropped. To do so, we start reading into the middle of buf
                                // and then convert the appropriate number of bytes with extra high bytes out of
@@ -325,7 +414,9 @@ macro_rules! impl_writeable_primitive {
                                }
                                if total_read_len == 0 || buf[$len] != 0 {
                                        let first_byte = $len - ($len - total_read_len);
-                                       Ok(HighZeroBytesDroppedVarInt($meth_read(&buf[first_byte..first_byte + $len])))
+                                       let mut bytes = [0; $len];
+                                       bytes.copy_from_slice(&buf[first_byte..first_byte + $len]);
+                                       Ok(HighZeroBytesDroppedVarInt(<$val_type>::from_be_bytes(bytes)))
                                } else {
                                        // If the encoding had extra zero bytes, return a failure even though we know
                                        // what they meant (as the TLV test vectors require this)
@@ -336,19 +427,19 @@ macro_rules! impl_writeable_primitive {
        }
 }
 
-impl_writeable_primitive!(u64, be64_to_array, 8, slice_to_be64);
-impl_writeable_primitive!(u32, be32_to_array, 4, slice_to_be32);
-impl_writeable_primitive!(u16, be16_to_array, 2, slice_to_be16);
+impl_writeable_primitive!(u64, 8);
+impl_writeable_primitive!(u32, 4);
+impl_writeable_primitive!(u16, 2);
 
 impl Writeable for u8 {
        #[inline]
-       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> {
                writer.write_all(&[*self])
        }
 }
-impl<R: Read> Readable<R> for u8 {
+impl Readable for u8 {
        #[inline]
-       fn read(reader: &mut R) -> Result<u8, DecodeError> {
+       fn read<R: Read>(reader: &mut R) -> Result<u8, DecodeError> {
                let mut buf = [0; 1];
                reader.read_exact(&mut buf)?;
                Ok(buf[0])
@@ -357,13 +448,13 @@ impl<R: Read> Readable<R> for u8 {
 
 impl Writeable for bool {
        #[inline]
-       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> {
                writer.write_all(&[if *self {1} else {0}])
        }
 }
-impl<R: Read> Readable<R> for bool {
+impl Readable for bool {
        #[inline]
-       fn read(reader: &mut R) -> Result<bool, DecodeError> {
+       fn read<R: Read>(reader: &mut R) -> Result<bool, DecodeError> {
                let mut buf = [0; 1];
                reader.read_exact(&mut buf)?;
                if buf[0] != 0 && buf[0] != 1 {
@@ -379,15 +470,15 @@ macro_rules! impl_array {
                impl Writeable for [u8; $size]
                {
                        #[inline]
-                       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+                       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                                w.write_all(self)
                        }
                }
 
-               impl<R: Read> Readable<R> for [u8; $size]
+               impl Readable for [u8; $size]
                {
                        #[inline]
-                       fn read(r: &mut R) -> Result<Self, DecodeError> {
+                       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                                let mut buf = [0u8; $size];
                                r.read_exact(&mut buf)?;
                                Ok(buf)
@@ -402,8 +493,8 @@ impl_array!(4); // for IPv4
 impl_array!(10); // for OnionV2
 impl_array!(16); // for IPv6
 impl_array!(32); // for channel id & hmac
-impl_array!(33); // for PublicKey
-impl_array!(64); // for Signature
+impl_array!(PUBLIC_KEY_SIZE); // for PublicKey
+impl_array!(COMPACT_SIGNATURE_SIZE); // for Signature
 impl_array!(1300); // for OnionPacket.hop_data
 
 // HashMap
@@ -412,7 +503,7 @@ impl<K, V> Writeable for HashMap<K, V>
              V: Writeable
 {
        #[inline]
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
        (self.len() as u16).write(w)?;
                for (key, value) in self.iter() {
                        key.write(w)?;
@@ -422,13 +513,12 @@ impl<K, V> Writeable for HashMap<K, V>
        }
 }
 
-impl<R, K, V> Readable<R> for HashMap<K, V>
-       where R: Read,
-             K: Readable<R> + Eq + Hash,
-             V: Readable<R>
+impl<K, V> Readable for HashMap<K, V>
+       where K: Readable + Eq + Hash,
+             V: Readable
 {
        #[inline]
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                let len: u16 = Readable::read(r)?;
                let mut ret = HashMap::with_capacity(len as usize);
                for _ in 0..len {
@@ -441,15 +531,15 @@ impl<R, K, V> Readable<R> for HashMap<K, V>
 // Vectors
 impl Writeable for Vec<u8> {
        #[inline]
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                (self.len() as u16).write(w)?;
                w.write_all(&self)
        }
 }
 
-impl<R: Read> Readable<R> for Vec<u8> {
+impl Readable for Vec<u8> {
        #[inline]
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                let len: u16 = Readable::read(r)?;
                let mut ret = Vec::with_capacity(len as usize);
                ret.resize(len as usize, 0);
@@ -459,7 +549,7 @@ impl<R: Read> Readable<R> for Vec<u8> {
 }
 impl Writeable for Vec<Signature> {
        #[inline]
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                (self.len() as u16).write(w)?;
                for e in self.iter() {
                        e.write(w)?;
@@ -468,32 +558,32 @@ impl Writeable for Vec<Signature> {
        }
 }
 
-impl<R: Read> Readable<R> for Vec<Signature> {
+impl Readable for Vec<Signature> {
        #[inline]
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                let len: u16 = Readable::read(r)?;
                let byte_size = (len as usize)
-                               .checked_mul(33)
+                               .checked_mul(COMPACT_SIGNATURE_SIZE)
                                .ok_or(DecodeError::BadLengthDescriptor)?;
                if byte_size > MAX_BUF_SIZE {
                        return Err(DecodeError::BadLengthDescriptor);
                }
                let mut ret = Vec::with_capacity(len as usize);
-               for _ in 0..len { ret.push(Signature::read(r)?); }
+               for _ in 0..len { ret.push(Readable::read(r)?); }
                Ok(ret)
        }
 }
 
 impl Writeable for Script {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                (self.len() as u16).write(w)?;
                w.write_all(self.as_bytes())
        }
 }
 
-impl<R: Read> Readable<R> for Script {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
-               let len = <u16 as Readable<R>>::read(r)? as usize;
+impl Readable for Script {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               let len = <u16 as Readable>::read(r)? as usize;
                let mut buf = vec![0; len];
                r.read_exact(&mut buf)?;
                Ok(Script::from(buf))
@@ -501,14 +591,18 @@ impl<R: Read> Readable<R> for Script {
 }
 
 impl Writeable for PublicKey {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                self.serialize().write(w)
        }
+       #[inline]
+       fn serialized_length(&self) -> usize {
+               PUBLIC_KEY_SIZE
+       }
 }
 
-impl<R: Read> Readable<R> for PublicKey {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
-               let buf: [u8; 33] = Readable::read(r)?;
+impl Readable for PublicKey {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               let buf: [u8; PUBLIC_KEY_SIZE] = Readable::read(r)?;
                match PublicKey::from_slice(&buf) {
                        Ok(key) => Ok(key),
                        Err(_) => return Err(DecodeError::InvalidValue),
@@ -517,16 +611,20 @@ impl<R: Read> Readable<R> for PublicKey {
 }
 
 impl Writeable for SecretKey {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
-               let mut ser = [0; 32];
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
+               let mut ser = [0; SECRET_KEY_SIZE];
                ser.copy_from_slice(&self[..]);
                ser.write(w)
        }
+       #[inline]
+       fn serialized_length(&self) -> usize {
+               SECRET_KEY_SIZE
+       }
 }
 
-impl<R: Read> Readable<R> for SecretKey {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
-               let buf: [u8; 32] = Readable::read(r)?;
+impl Readable for SecretKey {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               let buf: [u8; SECRET_KEY_SIZE] = Readable::read(r)?;
                match SecretKey::from_slice(&buf) {
                        Ok(key) => Ok(key),
                        Err(_) => return Err(DecodeError::InvalidValue),
@@ -535,14 +633,14 @@ impl<R: Read> Readable<R> for SecretKey {
 }
 
 impl Writeable for Sha256dHash {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                w.write_all(&self[..])
        }
 }
 
-impl<R: Read> Readable<R> for Sha256dHash {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
-               use bitcoin_hashes::Hash;
+impl Readable for Sha256dHash {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               use bitcoin::hashes::Hash;
 
                let buf: [u8; 32] = Readable::read(r)?;
                Ok(Sha256dHash::from_slice(&buf[..]).unwrap())
@@ -550,14 +648,18 @@ impl<R: Read> Readable<R> for Sha256dHash {
 }
 
 impl Writeable for Signature {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                self.serialize_compact().write(w)
        }
+       #[inline]
+       fn serialized_length(&self) -> usize {
+               COMPACT_SIGNATURE_SIZE
+       }
 }
 
-impl<R: Read> Readable<R> for Signature {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
-               let buf: [u8; 64] = Readable::read(r)?;
+impl Readable for Signature {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               let buf: [u8; COMPACT_SIGNATURE_SIZE] = Readable::read(r)?;
                match Signature::from_compact(&buf) {
                        Ok(sig) => Ok(sig),
                        Err(_) => return Err(DecodeError::InvalidValue),
@@ -566,37 +668,62 @@ impl<R: Read> Readable<R> for Signature {
 }
 
 impl Writeable for PaymentPreimage {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                self.0.write(w)
        }
 }
 
-impl<R: Read> Readable<R> for PaymentPreimage {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
+impl Readable for PaymentPreimage {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                let buf: [u8; 32] = Readable::read(r)?;
                Ok(PaymentPreimage(buf))
        }
 }
 
 impl Writeable for PaymentHash {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                self.0.write(w)
        }
 }
 
-impl<R: Read> Readable<R> for PaymentHash {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
+impl Readable for PaymentHash {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                let buf: [u8; 32] = Readable::read(r)?;
                Ok(PaymentHash(buf))
        }
 }
 
+impl Writeable for PaymentSecret {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
+               self.0.write(w)
+       }
+}
+
+impl Readable for PaymentSecret {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               let buf: [u8; 32] = Readable::read(r)?;
+               Ok(PaymentSecret(buf))
+       }
+}
+
+impl<T: Writeable> Writeable for Box<T> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
+               T::write(&**self, w)
+       }
+}
+
+impl<T: Readable> Readable for Box<T> {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               Ok(Box::new(Readable::read(r)?))
+       }
+}
+
 impl<T: Writeable> Writeable for Option<T> {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                match *self {
                        None => 0u8.write(w)?,
                        Some(ref data) => {
-                               1u8.write(w)?;
+                               BigSize(data.serialized_length() as u64 + 1).write(w)?;
                                data.write(w)?;
                        }
                }
@@ -604,29 +731,60 @@ impl<T: Writeable> Writeable for Option<T> {
        }
 }
 
-impl<R, T> Readable<R> for Option<T>
-       where R: Read,
-             T: Readable<R>
+impl<T: Readable> Readable for Option<T>
 {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
-               match <u8 as Readable<R>>::read(r)? {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               let len: BigSize = Readable::read(r)?;
+               match len.0 {
                        0 => Ok(None),
-                       1 => Ok(Some(Readable::read(r)?)),
-                       _ => return Err(DecodeError::InvalidValue),
+                       len => {
+                               let mut reader = FixedLengthReader::new(r, len - 1);
+                               Ok(Some(Readable::read(&mut reader)?))
+                       }
                }
        }
 }
 
+impl Writeable for Txid {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
+               w.write_all(&self[..])
+       }
+}
+
+impl Readable for Txid {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               use bitcoin::hashes::Hash;
+
+               let buf: [u8; 32] = Readable::read(r)?;
+               Ok(Txid::from_slice(&buf[..]).unwrap())
+       }
+}
+
+impl Writeable for BlockHash {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
+               w.write_all(&self[..])
+       }
+}
+
+impl Readable for BlockHash {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               use bitcoin::hashes::Hash;
+
+               let buf: [u8; 32] = Readable::read(r)?;
+               Ok(BlockHash::from_slice(&buf[..]).unwrap())
+       }
+}
+
 impl Writeable for OutPoint {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                self.txid.write(w)?;
                self.vout.write(w)?;
                Ok(())
        }
 }
 
-impl<R: Read> Readable<R> for OutPoint {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
+impl Readable for OutPoint {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                let txid = Readable::read(r)?;
                let vout = Readable::read(r)?;
                Ok(OutPoint {
@@ -639,21 +797,20 @@ impl<R: Read> Readable<R> for OutPoint {
 macro_rules! impl_consensus_ser {
        ($bitcoin_type: ty) => {
                impl Writeable for $bitcoin_type {
-                       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), ::std::io::Error> {
+                       fn write<W: Writer>(&self, writer: &mut W) -> Result<(), io::Error> {
                                match self.consensus_encode(WriterWriteAdaptor(writer)) {
                                        Ok(_) => Ok(()),
-                                       Err(consensus::encode::Error::Io(e)) => Err(e),
-                                       Err(_) => panic!("We shouldn't get a consensus::encode::Error unless our Write generated an std::io::Error"),
+                                       Err(e) => Err(e),
                                }
                        }
                }
 
-               impl<R: Read> Readable<R> for $bitcoin_type {
-                       fn read(r: &mut R) -> Result<Self, DecodeError> {
+               impl Readable for $bitcoin_type {
+                       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                                match consensus::encode::Decodable::consensus_decode(r) {
                                        Ok(t) => Ok(t),
-                                       Err(consensus::encode::Error::Io(ref e)) if e.kind() == ::std::io::ErrorKind::UnexpectedEof => Err(DecodeError::ShortRead),
-                                       Err(consensus::encode::Error::Io(e)) => Err(DecodeError::Io(e)),
+                                       Err(consensus::encode::Error::Io(ref e)) if e.kind() == io::ErrorKind::UnexpectedEof => Err(DecodeError::ShortRead),
+                                       Err(consensus::encode::Error::Io(e)) => Err(DecodeError::Io(e.kind())),
                                        Err(_) => Err(DecodeError::InvalidValue),
                                }
                        }
@@ -663,28 +820,44 @@ macro_rules! impl_consensus_ser {
 impl_consensus_ser!(Transaction);
 impl_consensus_ser!(TxOut);
 
-impl<R: Read, T: Readable<R>> Readable<R> for Mutex<T> {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
+impl<T: Readable> Readable for Mutex<T> {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                let t: T = Readable::read(r)?;
                Ok(Mutex::new(t))
        }
 }
 impl<T: Writeable> Writeable for Mutex<T> {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                self.lock().unwrap().write(w)
        }
 }
 
-impl<R: Read, A: Readable<R>, B: Readable<R>> Readable<R> for (A, B) {
-       fn read(r: &mut R) -> Result<Self, DecodeError> {
+impl<A: Readable, B: Readable> Readable for (A, B) {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
                let a: A = Readable::read(r)?;
                let b: B = Readable::read(r)?;
                Ok((a, b))
        }
 }
 impl<A: Writeable, B: Writeable> Writeable for (A, B) {
-       fn write<W: Writer>(&self, w: &mut W) -> Result<(), ::std::io::Error> {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
                self.0.write(w)?;
                self.1.write(w)
        }
 }
+
+impl<A: Readable, B: Readable, C: Readable> Readable for (A, B, C) {
+       fn read<R: Read>(r: &mut R) -> Result<Self, DecodeError> {
+               let a: A = Readable::read(r)?;
+               let b: B = Readable::read(r)?;
+               let c: C = Readable::read(r)?;
+               Ok((a, b, c))
+       }
+}
+impl<A: Writeable, B: Writeable, C: Writeable> Writeable for (A, B, C) {
+       fn write<W: Writer>(&self, w: &mut W) -> Result<(), io::Error> {
+               self.0.write(w)?;
+               self.1.write(w)?;
+               self.2.write(w)
+       }
+}