第4课： Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握
根据家林大神课程编写！
事务处理是至关重要的。事务处理例如：银行转账，A给B转账，B不可能多次收到A的转账;A转给B多次，而B只收到1次，这也不可能。事务处理：事务一定会被处理而且一定只会处理1次。
在spark streaming，spark运行出错的时候不能保证输出的时候也是事务级别的，例如Task处理一半的时候崩溃了，从语义上保证事务级别的处理，处理仅被处理1次，但如果数据存入数据库，可能被存入多次。例如广告计费程序，接收前端的广告点击流，广告点击计算的时候，有且只被处理1次，然后交给后台的计费程序，spark streaming基于spark，任务失败的时候会进行重试，这个时候可能导致一个结果：点击的有效数据可能会多次写入下一步的计费程序中。
总结一下：一方面能够处理且只被处理1次，第二点：能够输出且只被输出1次。例如A给B转账，A一定会被扣除1次，B收到A的转账费用且只收到1次。spark streaming进行事务处理，有没有可能完全处理失败呢？这个可能性不大。spark是BatchInterval批处理的方式进行流处理。spark streaming应用程序启动的时候分配相关的资源，而且调度的过程中可以动态的分配资源，除非集群中所有的硬件全部崩溃，一般情况下都一定会被处理，spark streaming不大可能处理完全失败。
整个spark streaming写程序的的时候分成Driver和Executor二部分。这里是spark streaming的application，其Driver的核心是St
段智华 认证博客专家 Spark AI 企业级AI技术 本人从事大数据人工智能开发和运维工作十余年，码龄5年，深入研究Spark源码，参与王家林大咖主编出版Spark+AI系列图书5本，清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》，《企业级AI技术内幕》新书分为盘古人工智能框架开发专题篇、机器学习案例实战篇、分布式内存管理系统Alluxio解密篇。Spark新书第二版以数据智能为灵魂，包括内核解密篇，商业案例篇，性能调优篇和Spark+AI解密篇。从2015年开始撰写博文，累计原创1059篇，博客阅读量达155万次