mistral-7B-v0.1
Mistral AI

@article{,
title= {mistral-7B-v0.1},
journal= {},
author= {Mistral AI},
year= {},
url= {https://mistral.ai/news/announcing-mistral-7b/},
abstract= {Mistral 7B is a 7.3B parameter model that:

- Outperforms Llama 2 13B on all benchmarks
- Outperforms Llama 1 34B on many benchmarks
- Approaches CodeLlama 7B performance on code, while remaining good at English tasks
- Uses Grouped-query attention (GQA) for faster inference
- Uses Sliding Window Attention (SWA) to handle longer sequences at smaller cost
- We’re releasing Mistral 7B under the Apache 2.0 license, it can be used without restrictions.


```

                                                                     ▄▄▄░░
                                                            ▄▄▄▄▄█████████░░░░
                                                ▄▄▄▄▄▄████████████████████░░░░░
                                             █████████████████████████████░░░░░
                        ▄▄▄▄▄▄█████░░░       █████████████████████████████░░░░░
             ▄▄▄▄▄██████████████████░░░░░░  ██████████████████████████████░░░░░
      ▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░███████████████████████████████░░░░░
      ████████████████████████████████░░░░░███████████████████████████████░░░░░
      ████████████████████████████████░░░░████████████████████████████████░░░░░
      █████████████████████████████████░░░████████████████████████████████░░░░░
      █████████████████████████████████░░░████████████░███████████████████░░░░░
      ██████████████████████████████████░█████████████░███████████████████░░░░░
      ███████████████████░██████████████▄█████████████░███████████████████░░░░░
      ███████████████████░███████████████████████████░░███████████████████░░░░░
      ███████████████████░░██████████████████████████░░███████████████████░░░░░
      ███████████████████░░█████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░
      ███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░
      ███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  ░░░░░░░
          ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░      ░░░
                ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░    ░░░░░░░░░░░░░░░░░░
                   ░░░░░░░░░░░░░░░░░░░░░░░░░░░░
                        ░░░░░░░░░░░░░░░░░
                           ░░░░░


 ╓────────────────────────────────────────────────────────────────────────────╖
 ║                      MISTRAL AI - 7B - v0.1  27/09/23                      ║
 ╙────────────────────────────────────────────────────────────────────────────╜

 ╓────────────────────────────────────────────────────────────────────────────╖
 ║                                                                            ║
 ║                               ·· md5sum ··                                 ║
 ║                                                                            ║
 ║        e2e37b12c741eb0782697362e40a262a  consolidated.00.pth               ║
 ║        37974873eb68a7ab30c4912fc36264ae  tokenizer.model                   ║
 ╙────────────────────────────────────────────────────────────────────────────╜

 ╓────────────────────────────────────────────────────────────────────────────╖
 ║                                                                            ║
 ║                    ·· Released by the Mistral AI team ··                   ║
 ║                                                                            ║
 ║          Albert, Alexandre, Arthur, Bam4d, Devendra, Diego, Florian,       ║
 ║         Gianna, Guillaume, Lélio, Lucas, Lucile, Marie-Anne, Pierre,       ║
 ║              Raphaël, Teven, Thibaut, Thomas, Timothée, William            ║
 ║                                                                            ║
 ╙────────────────────────────────────────────────────────────────────────────╜

```},
keywords= {},
terms= {},
license= {https://www.apache.org/licenses/LICENSE-2.0},
superseded= {}
}