IOError: [Errno 22] Invalid argument


Traceback (most recent call last):
File "/usr/bin/duplicity", line 463, in ?
with_tempdir(main)
File "/usr/bin/duplicity", line 458, in with_tempdir
fn()
File "/usr/bin/duplicity", line 444, in main
full_backup(col_stats)
File "/usr/bin/duplicity", line 155, in full_backup
bytes_written = write_multivol("full", tarblock_iter, globals.backend)
File "/usr/bin/duplicity", line 87, in write_multivol
globals.gpg_profile,globals.volsize)
File "/usr/lib64/python2.4/site-packages/duplicity/gpg.py", line 213, in GPGWriteFile
data = block_iter.next(bytes_to_go).data
File "/usr/lib64/python2.4/site-packages/duplicity/diffdir.py", line 407, in next
result = self.process(self.input_iter.next(), size)
File "/usr/lib64/python2.4/site-packages/duplicity/diffdir.py", line 487, in process
data, last_block = self.get_data_block(fp, size - 512)
File "/usr/lib64/python2.4/site-packages/duplicity/diffdir.py", line 508, in get_data_block
buf = fp.read(read_size)
File "/usr/lib64/python2.4/site-packages/duplicity/diffdir.py", line 338, in read
buf = self.infile.read(length)
IOError: [Errno 22] Invalid argument


The problem can be easily fixed by changing line no. 507 from:

read_size = min(64*1024, max_size)

to:

read_size = min(64*1024, max(max_size, 512))

The problem also occurs if you forget to pass “–exclude /selinux” to duplicity.

More info about the bug.

• Friends & Lovers
• Aquanoids
• 2012: Supernova

Prossimi film da vedere:

• Plan 9 from outer space

Vi voglio raccontare la mia esperienza con la burocrazia italiana giorno per giorno.

Giorno 1

Seguendo i consigli del sito web dell’ACI, vado al PRA di La Spezia dove trovo una signora molto stizzita che mi redarguisce sul fatto che tutta la documentazione che ho non serve a niente e che tutto quello che serve non ce l’ho. Aggiunge che l’auto va collaudata prima di fare qualunque pratica, quindi mi invita ad andare alla motorizzazione civile.

Vado alla motorizzazione civile, trovo un signore molto gentile che mi spiega che non serve nessun collaudo, che dispongo di tutta la documentazione necessaria. Mi consegna alcuni moduli da compilare e mi dà tutte le indicazioni del caso. Quando gli riferisco quanto dettomi dalla signora del PRA comincia a preoccuparsi. Mi spiega che la motorizzazione dovrà inviare il modulo NP2B, la fattura d’acquisto e il libretto dell’auto redatto secondo la legislazione italiana al PRA, in modo che il PRA possa rilasciare il CdP (Certificato di proprietà del veicolo). Tuttavia non è sicuro che al PRA tale documentazione sia sufficiente e pertanto mi invita a tornare al PRA per avere una conferma.
Nel frattempo, l’ufficio del PRA ha chiuso. Se ne riparla domani.

Giorno 2

Vado al PRA, dopo una coda immensa circondato da cittadini infuriati con Equitalia per delle multe pazze, arriva il mio turno. Spiego che ieri sono stato rimbalzato dal PRA alla motorizzazione e dalla motorizzazione al PRA e chiedo se la documentazione indicatami dalla motorizzazione sia sufficiente al PRA per rilasciare il CdP.
Vengo messo in attesa in un angolino in quanto la persona che segue questo tipo di pratiche è impegnata a giocare a Solitario nel retro dell’ufficio. Attendo più di 30 minuti e quando ormai è l’ora di chiusura dell’ufficio, il giocatore incallito con aria scocciata si degna di considerarmi. Il suo collega gentilmente gli spiega la situazione e quello guarda con fare scocciato i fogli che gli porgo. Mi dice subito che il contratto di acquisto senza firma del venditore autenticata dal notaio non serve a niente. Gli spiego che non avevo a disposizione un notaio in Germania e per tutta risposta borbottando tra sè e sè sparisce.
Torna dopo cinque minuti e mi dice che va tutto bene (?) a parte il fatto che manca il numero di partita IVA del venditore (chiamata UST-id in Germania) e la traduzione giurata in italiano del contratto di acquisto.
Chiedo se posso usufruire del servizio di un traduttore qualunque oppure se devo rivolgermi a un traduttore ufficiale e di nuovo con fare molto scocciato mi risponde che devo andare al tribunale di La Spezia e cercare un traduttore lì.

Si è fatto tardi e il tribunale ha già chiuso al pubblico, ma decido di fare comunque un tentativo. Dopo aver vagato per una decina di minuti tra i corridoi infiniti del tribunale, finisco di fronte alla porta dell’ufficio URP sul quale campeggia un cartello enorme con su scritto in stampatello: “QUI NON SI EFFETTUANO TRADUZIONI”.
Chiedo spiegazioni ad alcuni dei pochi impiegati rimasti durante la pausa pranzo e la risposta che ottengo è la seguente: “Sei già il secondo che viene spedito qua oggi dal PRA per avere una traduzione, noi non facciamo traduzioni! Non so perchè diano queste indicazioni sbagliate. Devi trovare un traduttore e poi il traduttore deve venire in tribunale a giurare che la traduzione sia fedele. Il nostro ruolo si limita a quello”. Esattamente l’opposto di quanto riferitomi dal PRA.
Ringrazio per la gentile spiegazione e comincio a fare un giro di telefonate e alcune ricerche su Internet per trovare un libero professionista che offra il servizio di traduzione giurata/asseverata.

Prendo contatti con alcuni di loro e mi faccio fare alcuni preventivi.

Anche oggi si è fatto tardi. Trascorro il resto della giornata a cercare l’UST-id del venditore su Internet dato che al telefono non risponde. Con l’aiuto di un mio amico tedesco riesco a trovarlo.

Giorno 3

Trovo una traduttrice disposta a farmi la traduzione giurata con la massima urgenza. Le invio copia del contratto d’acquisto via e-mail. Ci accordiamo per 120 € iva inclusa e ci diamo appuntamento per Martedì mattina (oggi è Sabato) per la consegna dei documenti già corredati di traduzione giurata autenticata in Tribunale.

Giorno 4

Approfitto del weekend per compilare i moduli TT2119 e NP2B.

Nel modulo TT2119 inserisco i miei dati personali e i dati del veicolo, lasciando vuoto il campo codice veicolo. Copio il numero di omologazione dal Certificato di conformità (COC) alla voce “mit dem unter der EG-Genehmigungs Nr”.

Nel modulo NP2B compilo solo i riquadri A, B, M, R, S e all’interno del riquadro P inserisco solamente data, forma e prezzo, come indicatomi al PRA.

Giorno 5 e 6

Riposo

Giorno 7

Martedì mattina vado a ritirare la traduzione giurata del contratto d’acquisto, dopodichè mi reco all’ufficio della Motorizzazione con:

• traduzione giurata del contratto di acquisto
• modulo NP2B debitamente compilato
• modulo TT2119 debitamente compilato
• 2 fotocopie della mia carta d’identità
• Dichiarazione sostitutiva della certificazione di residenza (questo perchè la mia carta d’identità riporta un indirizzo di residenza non aggiornato)
• 2 fotocopie del mio codice fiscale
• Certificato di conformità (COC)
• ZULASSUNGSBESCHEINIGUNG TEIL I e II
• ricevute dei quattro versamenti CCP effettuati: imposta di bollo 29,24 €, IPT 514,16 €, acquisto targhe 39,71 €, diritti 9 €

Riporto all’impiegato quanto dettomi dal PRA e quello rassicurato prende il mio fascicolo, si segna il mio numero di cellulare e mi dice che verrò richiamato tra circa una settimana. Se non dovessi ricevere alcuna chiamata, dovrò farmi vivo io.

Giorno 13

Sono trascorsi sei giorni. Alle 8:30am in punto mi arriva una telefonata dalla Motorizzazione per comunicarmi che il libretto provvisorio e le targhe sono pronte. Corro alla motorizzazione e dopo una breve attesa ritiro il tutto.
L’impiegato mi spiega che il libretto provvisorio è valido per massimo 60 giorni e che quello definitivo sarà pronto tra circa 15 giorni. Una volta ottenuto il libretto definitivo dovrò recarmi al PRA con il nuovo libretto, il modulo NP2B e la traduzione giurata del contratto di vendita in modo che possano prepararmi il certificato di proprietà.
Mi riconsegna il modulo NP2B e il contratto con la traduzione cosiccome io l’avevo consegnato a lui una settimana fa e ci salutiamo. Ma non doveva pensarci la motorizzazione a spedirlo al PRA?

Tornato a casa mi accingo a montare le targhe e subito mi accorgo di un piccolo problema: le targhe anteriori in Italia sono più piccole di quelle posteriori, in Germania invece sono identiche alle posteriori!
Provo a montarle ugualmente in modo posticcio. Chissà se posso montare un portatarga più piccolo senza dover forare la carrozzeria.

Stando a quanto riferitomi alla Motorizzazione mi manca solo una cosa per poter circolare: l’assicurazione.
Faccio un paio di preventivi su www.assicurazione.it e poi ne acquisto di slancio (quixa). Pago con carta di credito e dopo pochi minuti ho nella mia email il tagliandito da stampare, ritagliare e apporre sul parabrezza della mia auto. L’assicurazione sarà valida dalle ore 24:00 di domani, questo vuol dire che devo aspettare ancora 36h prima di poter guidare la mia nuova auto. Che efficienza :) Non mi sembra vero.

Bibliografia:
http://www.aci.it/sezione-istituzionale/per-circolare/guida-pratiche-auto/importare-un-veicolo.html
http://sosonline.aduc.it/scheda/acquistare+veicolo+all+estero_14732.php
http://forums.ebay.it/thread.jspa?threadID=500004342
http://www.consinfo.eu/help/libretto-circolazione-norme-euro

Luglio 2010

Quando abbiamo venduto la nostra startup nel 1998 ad un tratto mi son ritrovato con un sacco di soldi. Fu allora che mi trovai a riflettere su una cosa sulla quale non mi era mai capitato di dover riflettere prima: come fare a non perderli.

Ero consapevole della possibilità che i poveri diventassero ricchi, cosiccome ero consapevole della possibilità che i ricchi diventassero poveri. Ma avendo speso una buona parte dei miei anni a studiare le vie per arricchirsi, non sapevo nulla delle vie che portano alla miseria. Ora era giunto il momento di studiare quali fossero queste vie, per poterle evitare.

Fu così che iniziai a fare attenzione a come i grandi patrimoni vengono sperperati. Quando ero ragazzo, se mi avessero chiesto come fanno ricchi a diventare poveri, avrei risposto: spendendo tutto quello che hanno. E’ quello che vediamo succedere nei romanzi e nei film, perchè è il modo più pittoresco di vedere le cose. Ma nella realtà, il modo in cui la maggior parte dei patrimoni vengono sperperati non è per via di spese eccessive, ma tramite investimenti sbagliati.

E’ difficile spendere una fortuna senza accorgersene. Per una persona comune è difficile buttare via più di qualche decine di migliaia di dollari senza pensare “wow, sto spendendo un mucchio di soldi”.

Invece, quando cominci a giocare (in borsa, ndt) con i derivati, puoi perdere un milione di dollari (anzi, una cifra grande a piacere) in un battito di ciglia.

Nella mente delle persone, spendere denaro in oggetti di lusso fa scattare delle inibizioni che al contrario non scattano nel caso degli investimenti in borsa.

Gli oggetti di lusso vengono percepiti come vizi. E a meno che una persona non abbia ricevuto il denaro in eredità o non l’abbia vinto alla lotteria, quella persona è già stata ampiamente abituata all’idea che i vizi sono causa di problemi. Gli investimenti in borsa sono in grado di scavalcare queste inibizioni. Non si sta spendendo il denaro; si sta semplicemente cambiando tipo di asset. In fin dei conti è questo il motivo per cui la gente che vuole vendere oggetti molto cari cerca di convincere l’acquirente con la frase: “sta facendo un investimento”.

La soluzione è sviluppare nuove inibizioni. Questo può essere difficile, perchè mentre le inibizioni che ci impediscono di spendere troppo sono così elementari che possiamo trovarle già scritte nel nostro DNA, quelle che ci impediscono di fare cattivi investimenti devono essere imparate, e vanno spesso contro il nostro buon senso.

Qualche giorno fa ho notato una cosa piuttosto curiosa: il problema (della gestione, ndt) del denaro è molto simile a quello (della gestione, ndt) del tempo.

Il modo più pericoloso di perdere tempo è quello di non utilizzarlo per divertirsi, ma a fingere di lavorare. Quando si passa il tempo a divertirsi, sai che ti stai concedendo un vizio. Le inibizioni cominciano a farsi sentire abbastanza in fretta. Se mi svegliassi al mattino e mi sedessi sul divano a guardare la TV tutto il giorno, sentirei di fare qualcosa di sbagliato. Il solo pensiero di una cosa del genere mi fa trasalire. Inizierei a sentirmi a disagio a star seduto sul divano a guardare la TV per due ore; se la guardassi per tutto il giorno… nemmeno a parlarne.

Tuttavia ci sono stati giorni nei quali non ho combinato nulla, proprio come se fossi stato davanti alla TV tutto il giorno; si tratta di giorni al termine dei quali se mi fossi chiesto cosa avevo combinato la risposta sarebbe stata: in fin dei conti, nulla. Mi sento in colpa per aver buttato al vento anche queste giornate, ma non tanto in colpa quanto per le giornate in cui sono stato a vedere la TV sul divano. Se trascorressi un giorno intero a guardare la TV sentirei di essere sulla strada della perdizione. Ma le stesse inibizioni non si manifestano nei giorni in cui non combino nulla, giorni in cui faccio delle cose che solo in apparenza contano come vero lavoro. Per esempio leggere e rispondere alle email. Si fa stando seduti ad una scrivania. Non è divertente. Quindi viene considerato un lavoro.

Con il tempo, cosiccome col denaro, evitare ciò che ci piace non è più sufficiente per proteggersi. Probabilmente era sufficiente per proteggere le popolazioni nomadi (cacciatori-raccoglitori), e probabilmente tutte le società pre-industriali.
L’unione di “nature and nurture” (l’unione delle nostre doti innate e il condizionamento che ci viene dall’esterno, ndt) fa sì che evitiamo i vizi. Ma il mondo si è evoluto in fretta: le trappole più pericolose ora vengono da nuovi impulsi che scavalcano le nostre inibizioni verso i vizi mascherandosi da comportamenti virtuosi. E la cosa peggiore è che (tali impulsi) non sono nemmeno gratificanti.

Ringrazio Sam Altman, Trevor Blackwell, Patrick Collison, Jessica Livingston, e Robert Morris per aver letto le bozze di questo testo.

Si tratta di due modalità completamente distinte.

La procedura per mettere l’iPhone 3GS in DFU è leggermente diversa da quella che funziona sugli iPod e sugli iPhone 2G/3G.

Eseguendo la procedura destinata agli iPhone 2G/3G sul 3GS si ottiene il Restore mode anzichè il DFU!

Ecco un video che mostra la procedura corretta per iPhone 3GS:  la differenza principale sta nel fatto che per spegnere l’iPhone non bisogna usare lo slider “Spegni”, ma si deve tenere continuare a premere i tasti Home+Power fino a che l’iPhone non si spegne, e a quel punto occorre rilasciare il tasto Power.

Here is what I had to do to make the USB modem work with Fonera 2.0N:

• for some crazy reason, my 3G modem refuses to work on Fonera 2.0N if there are some SMS stored on it. Plug the 3G modem into your PC and remove any SMS you may have received. YMMV.
• upgrade your Fonera 2.0N to the latest 2.3.6.0 firmware, choosing the “developer” image. You need the developer version to ssh into your Fonera 2.0N.
• ssh into your Fonera 2.0N router.
• edit /etc/config/umtsd:

config 'umtsd' 'umtsd'
 option '_country' '_custom'
 option 'apn' 'replacewithyourapn'
config 'umtsdstate' 'umtsdstate'
config 'umtsdevice' 'option12D11465'
 option 'vendor' 'Huawei'
 option 'device' 'K3765'
 option 'data' '/dev/ttyUSB0'

 option 'cmd' '/dev/ttyUSB0'

• plug the HUAWEI K3765 into the Fonera 2.0N router
• wait a few seconds and then run:

  echo "0x12d1 0x1465" >/sys/bus/usb-serial/drivers/option1/new_id

Thumbs up! Visit http://fonera/luci/fon_devices/fon_umts and check the status of your 3G modem.

An updated list of supported 3G USB modems is available at http://wiki.fon.com/wiki/3G_compatibility

There is no need to flash a new firmware on it, just uninstall the Vodafone Mobile Connect software and replace it with the standard one from HUAWEI: you will be able to configure the software to use any APN you like.

You’ll still experience a small glitch though, at least under MacOSX: everytime you plug the modem into the USB port, you will see a popup asking you to install Vodafone Mobile Connect.

There is a simple solution to this problem:

• find out the UUID of your USB stick: diskutil info /Volumes/Vodafone\ Mobile\ Broadband/ | grep UUID
• create a new entry for this disk in /etc/fstab with the noauto flag turned on:
  • open /etc/fstab in your favourite editor (create it if it doesn’t exist yet): sudo vi /etc/fstab
  • add a line like the following to /etc/fstab:
    UUID=A46AA80A-97B9-3B47-91A4-8128A9458A31 none hfs rw,noauto 0 0

Replace the UUID with your own UUID.

Thumbs up! Now unplug your USB stick and plug it again: no annoying popup this time!

E’ comunque possibile decidere la destinazione dell’8xmille e del 5xmille compilando il modulo incluso nel proprio CUD all’ufficio postale oppure al proprio commercialista.
In alternativa si può fare l’intera procedura online utilizzando il software “Scelte” disponibile sul sito dell’agenzia delle entrate all’indirizzo: http://www.agenziaentrate.it/wps/wcm/connect/Nsilib/Nsi/Strumenti/Software/Dichiarazioni+2010/Scelte+2010/

Notate bene: solo il 30% degli Italiani decide a chi destinare l’8xmille, molto probabilmente perchè non essendo obbligato a presentare alcuna dichiarazione non ha nè tempo nè voglia di stampare il modulo di “Scelta” e fare la coda per consegnarlo all’ufficio postale.
Rendere disponibile la consegna del modulo via Internet è un passo molto importante! D’ora in poi sarà più facile effettuare una scelta consapevole.

Lasciare il modulo in bianco e non consegnarlo è la scelta peggiore che si possa fare: significa ripartire la propria quota in parti proporzionali alle scelte effettuate dagli altri.

Dato che solamente il 30% degli italiani in media esprime una scelta esplicita, significa che una singola firma vale per 3! Siete in grado di spostare l’ago della bilancia anche di quel 70% di italiani che non esprime una scelta esplicita.

Un articolo interessante che spiega dove va a finire il miliardo di euro che la Chiesa Cattolica incassa ogni anno dall’8xmille è disponibile su Repubblica: http://www.repubblica.it/2007/09/sezioni/cronaca/conti-della-chiesa/conti-della-chiesa/conti-della-chiesa.html

Molto interessante anche la pagina su Wikipedia: http://it.wikipedia.org/wiki/Otto_per_mille#Chiesa_valdese

Contents

1. Long story short
2. Short story long
   1. The problem with filtering spam
   2. Premises
   3. The big picture
   4. Howto
      1. Postfix
      2. Dovecot
      3. Amavisd-new
   5. Purging old spam messages
   6. Conclusions
      1. Bibliography

This is a short summary for those who don’t need a pedantic step by step guide. If you want to know all the details, you should skip to the next section.

My objective is to deliver all spam messages to a dedicated IMAP folder called “spam”. This way my users can easily fetch messages which get erroneously identified as spam. Here is how I did it.

I configured Amavisd-new to deliver spam messages to a specific address extension (e.g. user+spam@domain.tld) using the $addr_extension_spam directive. Here I had my first problem: Amavisd-new ignores this directive for all domains which are not considered local. Therefore you have to tell Amavisd-new which domains are local or the whole thing WON’T WORK.

You have two options:

• statically define the list of local domains using @local_domains_acl
• if your account information is stored in MySQL database, tell Amavisd-new to fetch the list of local domains using a SQL query, like the following: $sql_select_policy = ‘SELECT “Y” as local FROM domain WHERE CONCAT(“@”,domain) IN (%k)’;

Next step is to configure the LDA (Local Delivery Agent) to deliver all messages with a specific address extension to a specific subfolder of the respective mailbox. This can be achieved by changing the LDA used by Postfix from Postfix itself to something which allows for rule filtering like procmail, maildrop or Dovecot.

If your mailboxes are also “system accounts”, you should stick to procmail or maildrop, which are fairly easy to setup. For example, with procmail you would use:

mailbox_command = procmail -a “$EXTENSION”

and then setup a .procmailrc which delivers mails for messages matching ARG ?? ^^spam^^ to a specific subfolder.

If you have a virtual users setup this gets tricky. The directive which defines the LDA for virtual accounts in main.cf is virtual_transport.

In a virtual users setup which relies on a MySQL backend, the easiest LDA to configure is Dovecot. We have to create a new “transport” inside master.cf like this:

dovecot      unix    -    n    n    -    -    pipe
flags=DRhu user=vmail:vmail argv=/usr/lib/dovecot/deliver -f ${sender} -d ${user}@${nexthop} -n -m ${extension}

And then reference it inside main.cf using the aforementioned virtual_transport directive (virtual_transport = dovecot).

Finally you must enable the sieve plugin in the lda section of dovecot.conf:

sieve_global_path = /var/lib/sieve/default.sieve
mail_plugins = cmusieve

and create the default.sieve script with the following content:

if envelope :detail "to" "spam"{
 fileinto "spam";
}

That’s all folks!

Here is an exhaustive description of this setup, with many useful hints to solve common problems.

Filtering spam is a endless battle. Spam filters are prone to false positives and SpamAssassin is no exception.

That’s why we usually configure our mail servers to quarantine spam messages, instead of rejecting/deleting them.

Here comes what I usually refer to as “the quarantine problem”.

Unfortunately most content filters tend to put all quarantined messages in a single directory which can only be accessed by the sysadmin. Then sysadmins get hammered by questions like this all the time: “I didn’t receive the e-mail from XYZ, can you check if it’s been quarantined by the spam filter?”

Users are angry because they have to wait to receive their “very-important” email, sysadmins are angry because they have to waste their time on a monkey activity. Nobody likes the “quarantine spam messages in a single directory” strategy.

Many solutions have been proposed to allow users to retrieve spam messages from the quarantine directory by themselves: the most successful was Maia Mailguard (http://www.maiamailguard.com/maia/wiki), which is now replaced by MailZu (http://sourceforge.net/projects/mailzu/).

Unfortunately all these solutions are quite clumsy to setup, they do not scale very well and they can be a pain to maintain.

Content filters also allow to only tag messages as spam, and deliver them to the user’s mailbox together with regular messages, but users don’t like this solution for two reasons:

• they have to download spam messages anyway (which can be expensive when roaming)
• they have to setup filters on their MUAs to store spam messages in a separate folder (which can be difficult to do on mobiles)

There is a simple solution to “the quarantine problem” which exploits the power of IMAP to have different folders in a single mailbox.

Here is the strategy we are going to adopt in this article:

• the first time a user accesses his mailbox via IMAP, a new folder called “INBOX.spam” is created.
• whenever a message is tagged as spam, it’s delivered to the address: user+spam@domain.tld instead of user@domain.tld
• if the subfolder INBOX.spam exists, the messages is stored under INBOX.spam instead of INBOX. If the subfolder doesn’t exist, the message is delivered to INBOX.
• messages in the INBOX.spam folder older than 60 days are automatically deleted.

If the user wants to check whether his very-important email was marked as spam, he can just open the Spam folder and try to find it. Normally he won’t need to download spam messages.

If he is using only POP3 to access his email, this “quarantine” system won’t be activated and he’ll have to rely on his MUA’s filters to store the spam in a separate folder.

Alternatively, the sysadmin can provide him with a webmail which uses the IMAP protocol.

In this howto we assume to be running the following software:

• MTA: Postfix with virtual users served off a MySQL database
• LDA: Dovecot delivery agent with sieve plugin
• POP3/IMAP: Dovecot
• Content filter: Amavisd-new
• Spam filter: SpamAssassin

Configuring Postfix for virtual users stored in a MySQL database is out of the scope of this howto. There is plenty literature available on Postfix Website (http://www.postfix.org/docs.html) and official documentation (http://www.postfix.org/MYSQL_README.html).

The integration of Amavisd-new into Postfix is trivial as well and there are already plenty of howtos available.

Finally we assume Dovecot is already configured to authenticate users using the MySQL database. Many howtos already describe how to implement this and it’s also described in the official documentation of Dovecot (http://wiki.dovecot.org/AuthDatabase/SQL).

We shall assume that you have a working setup with virtual domains stored on MySQL database.

Here is how the whole thing is going to work:

1. an email comes in, via SMTP
2. Postfix check if the mailbox exists and passes it to Amavisd-new
3. Amavisd-new checks if the email is spam. Then it checks if the recipient of the email is a local domain or not. If both conditions are true, then the message recipient address (user@domain.tld) is replaced with user+spam@domain.tld. In all other cases (e.g. if domain.tld is not a local domain) the recipient address is left untouched.
4. Amavisd-new passes the email back to Postfix
5. Postfix passes the email to the LDA. As reported in the “Premises” paragraph, in our case Dovecot acts also as a LDA, not only as POP3/IMAP server!
6. Dovecot uses the default sieve rules to decide where to store the message. If the recipient of the message contains a “spam” extention (like in the case of user+spam@domain.tld) and the INBOX.spam subfolder exists, then the message is delivered to user@domain.tld under then INBOX.spam subfolder. In all other cases (that is if the recipient is user@domain.tld or INBOX.spam doesn’t exist) the message is delivered to INBOX.

You will then need to change the following lines in /etc/postfix/main.cf:

mailbox_command = /usr/lib/dovecot/deliver
virtual_transport = dovecot
dovecot_destination_recipient_limit = 1
recipient_delimiter = +

and add the following line to /etc/postfix/master.cf:

dovecot      unix    -    n    n    -    -    pipe
 flags=DRhu user=vmail:vmail argv=/usr/lib/dovecot/deliver -f ${sender} -d ${user}@${nexthop} -n -m ${extension}

This is needed to make Postfix use Dovecot as the LDA. We need to switch to Dovecot as LDA because it has support for sieve rules. Using these rules we can decide in which folder to store a message based on a certain condition.

We have to tell Dovecot to automatically create the subfolder “Spam” on the first time the user accesses the mailbox via IMAP. For this we need to enable the autocreate plugin:

protocol imap {
 mail_plugins = quota imap_quota autocreate
}

plugin {
 autocreate = spam
 autosubscribe = spam
}

Next step is to enable the cmusieve plugin and configure Dovecot to apply a special rule to all messages processed by the delivery agent (LDA):

protocol lda {
 sieve_global_path = /var/lib/sieve/default.sieve
postmaster_address = <postmaster-address>
 auth_socket_path = /var/run/dovecot/auth-master
 mail_plugins = quota cmusieve
 sendmail_path = /usr/sbin/sendmail
}

In our case the filtering rule is stored inside /var/lib/sieve/default.sieve:

require ["fileinto", "envelope", "subaddress"];
if envelope :detail "to" "spam"{
 fileinto "spam";
}

Be aware that the file /var/lib/sieve/default.sieve is compiled by Dovecot the first time it’s used. Dovecot must store the binary version of this file (/var/lib/sieve/default.sievec) in the same dir as the script so it requires write access to the directory /var/lib/sieve/.

Dovecot delivery agent is called by Postfix and Postfix uses the uid/gid specified in /etc/postfix/main.cf to run it. In my case this is uid 2000 / gid 2000. Check your main.cf for the correct values, look for the lines:

virtual_uid_maps = static:<UID>
virtual_gid_maps = static:<GID>

Then make sure that /var/lib/sieve/ is owned by the same uid/gid specified above. If everything is ok, when the first email comes in, Dovecot will create a new file called /var/lib/sieve/default.sievec.

You can check the syntax of the file default.sieve on this nice online sieve compiler: http://libsieve-php.exit0.net/.

Depending on the distro you are using, your Amavisd-new config file can come as a single config. file called amavisd.conf or multiple small config files which are loaded sequentially.

In my case I’m using Debian Lenny and I store all my customized Amavisd-new settings inside /etc/amavis/conf.d/50-user .

Here is what must be modified in the standard Amavisd-new configuration:

$sa_tag_level_deflt  = 5.0;  # add spam info headers if at, or above that level
$sa_tag2_level_deflt = 7.31; # add 'spam detected' headers at that level
$sa_kill_level_deflt = 10.31; #10.31; # triggers spam evasive actions
$sa_dsn_cutoff_level = 15;  # spam level beyond which a DSN is not sent
$sa_spam_report_header = 1;
@addr_extension_spam_maps       = ('spam');
$replace_existing_extension = 1;        # (default is false)
$recipient_delimiter = '+';
@lookup_sql_dsn =
 ( ['DBI:mysql:database=yourpostfixdb;host=127.0.0.1;port=3306', 'yourpostfixuser', 'yourpass'] );
$sql_select_policy = 'SELECT "Y" as local FROM domain WHERE CONCAT("@",domain) IN (%k)';
$localpart_is_case_sensitive = 0;        # (default is false)
$final_spam_destiny       = D_PASS;

Note for SysCP users: if you are running SysCP the correct query is SELECT “Y” as local FROM panel_domains WHERE CONCAT(“@”,domain) IN (%k).

The $sa_* config items are pretty much self explanatory: you can tune their values to your likening. If SpamAssassin assigns a score higher than sa_tag2_level_deflt to the message, it will be delivered to the user’s INBOX.spam subfolder.

The @addr_extension_spam_maps directive (together with $replace_existing_extension and recipient_delimiter) tells Amavisd-new to rewrite the recipient address of spam messages from user@domain.tld to user+spam@domain.tld .

The @lookup_sql_dsn directive tells Amavisd-new how to connect to the MySQL database used by Postfix to lookup the local domains, mailboxes, and aliases.

The $sql_select_policy directive contains a MySQL query which fetches the list of local domains from the MySQL database used by Postfix. Depending on your Postfix setup you may need to change the query so that it returns “Y” if the domain (%k) is listed inside the “domain” table.

CAVEAT: THIS IS CRITICAL TO MAKE THE SETUP WORK!!! If Amavisd-new doesn’t know that the domain is a local one, IT WON’T CHANGE THE RECIPIENT ADDRESS TO user+spam@domain.tld . The email will always be delivered to user@domain.tld and stored inside INBOX instead of INBOX.Spam.

Amavisd-new only modifies the original message if both the following conditions are met:

• the domain is known to be a local domain
• the spam score is higher sa_tag2_level_deflt
  

The $localpart_is_case_sensitive directive, when set to false, tells Amavisd-new to treat domain names as case insensitive.

Finally, $final_spam_destiny  tells Amavisd-new to deliver spam messages instead of simply quarantine/reject them.

The INBOX.spam subfolders will tend to grow with time. We want to setup a cronjob which purges messages older than 60 days. Assuming that our virtual mailboxes are stored under /var/mail/virtual, we may use add to crontab something like this:

0 0 * * * find /var/mail/virtual/ -name .spam -type d -exec find {} -mindepth 1 -type f -ctime +60 -delete \;

Thumbs up! We are done :)
Please send me your comments if something is not clear or not working as expected!

• http://www.ijs.si/software/amavisd/README.lookups.txt
• http://wiki.dovecot.org/LDA/Sieve#Validate_your_script
• http://wiki.dovecot.org/LDA/Postfix